Les évaluations par assignation aléatoire mettent en évidence et quantifient l’effet d’un programme à une échelle locale et dans un contexte donné. Les différents biais sur le terrain ont déjà été évoqués : ils nuisent à la validité interne des résultats. La validité externe des expériences, c’est-à-dire la possibilité de les généraliser, est également très discutée. En effet, s’il s’avère que le programme conduit effectivement à des améliorations et remplit des objectifs de réduction de la pauvreté, il est naturel de vouloir le généraliser à des contextes géographiques et temporels plus larges. Le programme en question peut cependant être trop vite assimilé à une arme efficace de lutte contre la pauvreté, sans prendre suffisamment garde à la plus ou moins forte dépendance au contexte de réalisation de l’évaluation d’impact. Dans un article paru dans Le Monde des Livres, peu après la publication de Repenser la pauvreté, écrit par Abhijit Banerjee et Esther Duflo, la journaliste Julie Clarini^[ref] soulève le problème :

« Car tout au plaisir de partager leurs découvertes, les auteurs laissent le lecteur naviguer dans un léger flou : ces expérimentations visent-elles à dégager des lois qui vaudraient partout ou à comprendre des situations particulières ? Que peut-on se permettre de généraliser ? Comment passe-t-on du particulier à l’universel ? »

Le manque de possibilité de généraliser s’explique peut être par le manque de compréhension des phénomènes mis en jeu lors de l’expérience. Une critique formulée à l’égard des évaluations est qu’elles ont les mêmes caractéristiques qu’une boîte noire. L’expérimentateur a accès aux entrées et aux sorties mais ne sait pas ce qui se passe à l’intérieur, autrement dit, il ne peut expliquer les résultats qu’il mesure. Pourquoi et comment ouvrir cette boîte noire ?

Les chercheurs fournissent donc de la matière pour les décideurs politiques et les institutions. Le but est de mieux cibler l’aide au développement. Outre le fait que l’utilisation des résultats des expériences nécessite des précautions, il est à noter que les responsables politiques et les chercheurs ne poursuivent pas les mêmes objectifs. D’où certains écarts parfois entre la subtilité des conclusions des recherches et la communication politique visant à justifier des programmes.