Il s’agit là d’un cas d’accord complexe.

Si le COD est placé avant le participe passé on fait l’accord en genre et en nombre.

Si le COD est l’infinitif le participe passé est invariable.

Les leçons que je lui ai données à étudier. ──► Je lui ai donné quoi ? des leçons qu’il/elle doit étudier. Donc accord

Les voitures qu’on nous a donné à réparer.──► On nous a donné quoi? à réparer des voitures. Donc invariabilité du participe passé

Dans vos exemples:

1- On a donné quoi? des livres qu’il faut lire; l’accord se justifie.

2- On a donné quoi ? non pas des livres mais à lire des livres. Donc invariabilité du participe passé.

Lorsqu’une préposition, à ou de, est intercalée entre le participe passé et l’infinitif, le participe passé s’accorde en genre et en nombre avec le complément d’objet direct si ce dernier le précède et s’il se rapporte au participe passé et non à l’infinitif.

Il est parfois difficile de trancher la question.

En pratique, il faut pouvoir intercaler le complément d’objet direct entre le participe passé et l’infinitif.

Ces plantes qu’on lui avait données à arroser. (==>on lui avait donné ces plantes à arroser)

Les chaussures que je t’ai données à réparer (==>je t’ai donné des chaussures à réparer)

Ces enfants qu’on a empêchés de jouer. (==>on a empêché ces enfants de jouer).

Voici les comptes que tu m’a demandé de faire (==>tu m’as demandé de faire des comptes : « on ne peut pas intercaler, donc pas d’accord car comptes n’est pas COD de demandé mais de faire.)

Ce sont les livres que je t’ai donnés à lire. je t’ai donné ces livres à lire==>ok accord

Je te rends les livres que tu m’as donné à lire. Tu m’as donné ces livres à lire==>on devrait accorder, mais Mamiehiou considère (à tort) que le COD est l’infinitif  »  lire ».

==>Je ne suis pas d’accord avec cet accord

En revanche, un autre exemple donné sur le Blog est plus juste :

Voici les opérations que tu m’as prié de faire.(tu m’as prié de faire des opérations); là on n’intercale pas (prié de faire et non prié des opérations…  )

Que (= opérations) est COD de faire, pas de prier, donc pas d’accord.

==>Là c’est bon !