La notion de validité ne recouvre pas le même sens selon le contexte dans lequel on se place.
-
Lorsque la question est de savoir si les résultats obtenus sur l’échantillon étudié seront encore valable dans un autre contexte, on parle de validité externe. Celle-ci peut par exemple être mise à mal lorsque la population de départ sur laquelle est faite la randomisation n’est pas représentative de l’ensemble de la population cible. La question plus générale de la validité externe des RCT est l’objet de la deuxième partie de ce site : De l’expérience au programme de développement .
-
Lorsque la question est d’estimer la force du lien de causalité qui existe entre les résultats obtenus et les variables manipulées par le chercheur, on parle de validité interne. Il s’agit de la précision de l’estimation de l’effet causal à l’intérieur de l’échantillon. Par exemple, dans le cas de l’étude réalisée au Kenya sur le traitement contre les vers intestinaux, l’effet causal du programme qui a été mis en évidence est la réduction de l’absentéisme de 25%, selon Esther Duflo – comme elle l’explique dans L’approche expérimentale en économie du développement[ref]. Dire que la validité interne de cette expérimentation est forte revient à dire que la réduction de l’absentéisme est directement liée aux effets du traitement contre les vers intestinaux.
La forte validité interne des RCT est souvent mise en avant par les tenants de cette méthode. Au cours de l’entretien[ref] qu’il nous a accordé, Ilf Bencheikh nous a déclaré que « la validité interne des RCTs est très forte » et que c’est donc « une méthode qui permet d’être vraiment assez sûr de l’impact que l’on mesure ».
Cependant, de nombreux acteurs comme Christopher B. Barrett et Michael. R. Carter, doutent de la force de la validité interne des résultats des RCT dès lors que le protocole est mis en pratique sur le terrain. Ces derniers déclarent dans The Power and Pitfalls of Experiments in Development Economics: Some Non-random Reflections[ref]que « [...] l’attractivité des propriétés asymptotiques des RCT disparaît souvent en pratique ».
Faisant le parallèle avec les fausses perles, ils introduisent le terme « faux exogeneity » pour caractériser le fait que les effets du traitement ne sont pas totalement exogènes, c’est-à-dire indépendants, vis-à-vis des autres facteurs non contrôlés lors de l’expérimentation. Un tel problème se présente par exemple avec l’effet Hawthorne, que l’on aborde plus loin : les bons résultats présentés par certains agents s’expliquent parfois plus par le fait qu’ils savent qu’ils participent à l’expérience (c’est une variable non contrôlée) que par le fait même d’y participer (c’est la variable contrôlée). Les deux auteurs en concluent que « ce qui varie derrière les variables que manipule le chercheur n’est jamais très clair ». Dans cette éventualité, il sera difficile d’établir un lien de causalité entre l’application d’un programme et les effets de celui-ci ce qui implique une diminution de la validité interne de l’expérience.
Les problèmes de « faux exogeneity » regroupent donc l’ensemble des faiblesses qui mettent en question la force du lien de causalité entre l’application du programme et les résultats observés. Selon Christopher B. Barrett et Michael. R. Carter [2009], ils se posent de manière systématique sur le terrain.
« We term this the “faux exogeneity” problem because, like faux pearls, the product commonly looks of high value and one must scrutinize carefully in order to detect the fundamental flaws in construction so that many naïve consumers are regrettably duped. [...] In our experience, this [faux exogeneity problem] is the rule in RCTs, rather than the exception. »
Ces faiblesses sont l’objet de la partie suivante.