Les biais de participation sont caractérisés par le fait que « l’assignation au groupe n’est pas toujours respectée » en pratique, comme l’explique Arthur Jatteau dans son livre Les expérimentations aléatoires en économie^[ref]. Cela peut venir des sujets de l’expérience ou bien des personnes chargées de la mise en place de l’évaluation lorsque le protocole expérimental n’est pas respecté. Afin de pouvoir prendre en compte ces biais de participation, ce dernier choisit d’ailleurs de parler de groupes de traitement et de contrôle. Les groupes de traitement et de contrôle peuvent donc être différents des groupes traité et non traités : « On parle d’ « adhésion partielle » (partial compliance) au protocole d’expérimentation ». En effet, comme nous l’a expliqué le chercheur que nous avons interrogé et qui a souhaité rester anonyme ^[ref], sur le terrain « il y a toujours des histoires de triche, de gens qui sont dans tel groupe mais qui s’arrangent pour aller dans tel autre ». Dans le même ordre d’idée, Denis Fougère parle dans l’article Les méthodes économétriques d’évaluation^[ref]« biais de substitution, apparaissant dès lors que les membres du groupe de contrôle ont accès à des substituts proches du traitement ou du programme  évalué ». Selon Arthur Jatteau dans Les expérimentations aléatoires en économie^[ref], « la comparaison entre les deux groupes n’indique plus l’effet pur du traitement, puisqu’il faut prendre en compte ce qu’ont obtenu certains membres du groupe de contrôle ». Le même constat nous a été fait par Ilf Bencheikh^[ref], Directeur-Adjoint du J-PAL Europe qui mentionne la présence récurrente de «  mauvais perdants qui a posteriori cherchent à changer de groupe ». Il donne l’exemple d’expériences aléatoires portant sur des établissements scolaires en France, pour lesquelles « il y a toujours un inspecteur d’académie pour demander à ce que tel ou tel établissement soit dans l’échantillon test pour des raisons personnelles de préférence ». Selon lui, « il faut être très ferme là-dessus : on ne peut pas changer la randomisation en cours de route et si la randomisation n’est pas respectée l’expérience doit s’arrêter ». Cependant, les biais de participation semblent se poser de manière systématique sur le terrain, et doivent donc être pris en compte par les chercheurs.

Biais de participation

Deux indicateurs pour mesurer l’impact d’un programme

Pour bien comprendre l’influence des biais de participation, il faut revenir à la notion d’impact en distinguant les deux effets que l’on peut chercher à vouloir estimer sur un individu :

• “Intent To Treat” (ITT): effet d’avoir eu l’opportunité de participer au programme (que l’individu y ait participé ou non).

• “Treatment On Treated” (TOT): effet d’avoir participé au programme.

Ces estimations passent par la mesure des deux paramètres « moyens » suivants :

• “Average treatment effect” (ATE) : impact moyen du programme sur l’ensemble des personnes a qui ont a offert l’opportunité de participer au programme.

• “Average treatment effect on the treated” (ATET) ou “Local average treatment effect” (LATE) : impact moyen du programme sur l’ensemble des personnes qui y ont participé.

ITT

L’approche des tenants des RCTs consiste en général à s’intéresser à l’« Intent To Treat » (ITT), comme le rapporte Arthur Jatteau [2013]^[ref] : la mesure des effets sur l’échantillon de départ se fait indépendamment du fait que les personnes aient suivi le programme ou non. Selon Christopher B. Barrett et Michael. R. Carter dans The Power and Pitfalls of Experiments in Development Economics: Some Non-random Reflections^[ref], l’argument récurrent pour défendre l’utilisation de l’ITT est l’impossibilité de vérifier la participation effective des membres du groupe traité : « monitoring compliance is difficult and ineffective. » Esther Duflo résume dans L’approche expérimentale en économie du développement^[ref] la démarche adoptée de la manière suivante :

« Si l’on compare les personnes à qui on a donné le choix de prendre part à un programme de formation à celles à qui on n’a pas donné ce choix, on obtient une identification correcte de l’effet qu’a le fait d’offrir une telle possibilité. L’estimation par variable instrumentale utilisant l’intention de traiter comme instrument estime correctement l’impact moyen de ce programme sur des personnes qui ont choisi d’y participer. »

Cependant, comme le soulève Esther Duflo [2009]^[ref], lors de l’application d’une mesure politique qui serait plus coercitive, les gens n’ont pas forcément le choix de la participation au programme. Ainsi, comme l’effet a été mesuré sur des personnes ayant choisi de participer au programme lors de l’évaluation, « l’effet [réel] pourrait être plus faible pour des gens que l’on force à participer. Pour obtenir un tel résultat, il faudrait organiser une expérimentation avec participation obligatoire. »

TOT

Une autre possibilité serait de s’intéresser au “Treatment On Treated” (TOT) en réalisant l’évaluation sur deux nouveaux groupes : celui des individus effectivement traités et celui des individus non traités. Cependant, comme l’explique Arthur Jatteau dans son livre, les individus qui ont choisi de participer ou de ne pas participer malgré leur appartenance initiale à l’un des groupes l’ont fait pour des raisons particulières. Dès lors, les deux groupes, effectivement traité et non traité, ne sont plus comparables au sens énoncé plus tôt : les effets du traitement ne seront alors pas du tout exogènes vis-à-vis des autres facteurs non contrôlés propres aux individus ayant “changé de groupe”. Ce problème est soulevé par Christopher B. Barrett et Michael. R. Carter [2010]^[ref] qui expliquent que l’estimation du “local average treatment effect” (LATE) n’est plus valide lorsque la distribution du traitement est inhomogène au sein du groupe de traitement. De même, Martin Ravaillon souligne dans son article Should the randomistas rule ?^[ref]la nécessité pour les « randomistas » de « corriger l’adhésion partielle » au programme afin que l’indicateur ATET (identique au LATE) soit valide. La solution qu’il propose consiste à choisir l’assignation au groupe (test ou témoin) – et non le fait d’avoir ou non effectivement subit le traitement – comme variable instrumentale : il s’agit tout simplement de s’intéresser à l’indicateur ATE plutôt qu’à l’indicateur ATET, ce que font la plupart du temps les chercheurs du J-PAL, comme nous l’avons indiqué précédemment. Denis Fougère [2010]^[ref] conclut de son côté qu’en présence d’un phénomène d’adhésion partiel lors de l’évaluation d’un programme, « l’effet moyen de ce programme est plus difficilement identifiable ».

Cependant, comme l’explique Esther Duflo [2009]^[ref], « si les taux de participation des personnes choisies pour le groupe de traitement restent élevés, nous savons que la population affectée est au moins représentative de la population choisie pour l’expérimentation ». On assiste en fait à une sorte d’échantillonnage dans l’échantillonnage : la population effectivement traitée sera alors représentative de la population composant notre échantillon de test. Selon la chercheuse, la plupart des expérimentations randomisées menées en économie du développement présentent des taux de participation élevé, « souvent de 100% » car elles se déroulent au niveau de lieux ou de groupes où le programme a été jugé potentiellement applicable par les acteurs de terrain. Ilf Bencheikh [2014]^[ref] met également ce point en avant en expliquant que si de plus le « travail d’information au préalable » a été bien réalisé, « ce problème est normalement réglé au moment du tirage au sort ». Esther Duflo conclut que la sélection aléatoire des bénéficiaires « reflète ce que l’on observerait si la politique était généralisée, ce qui rend l’estimation de l’effet de traitement sur les traités pertinente. »

page précédente    page suivante