Analyse

En attribuant, l’an dernier, son prix à Esther Duflo, Abijit Banerjee et Miguel Kremer pour leur travail consistant à adapter la méthode des expérimentions par assignation aléatoire – les essais cliniques – utilisés en médecine aux interventions en matière de développement, le jury Nobel jugeait que ce nouveau type d’expérimentation, que l’on qualifiera de « sociales », a « considérablement amélioré notre capacité à lutter contre la pauvreté globale » et « à transformer l’économie du développement ». Un an après, l’explosion de la pauvreté à l’échelle mondiale due à la pandémie, tout particulièrement dans les pays du Sud, offre une occasion funeste mais exceptionnelle de questionner la capacité des expérimentations sociales à répondre à ce défi global.

A l’occasion de la publication d’un ouvrage de référence récemment paru (octobre 2020) mais finalisé avant la pandémie, nous faisons part ici de nos réserves. Si la méthode des expérimentations aléatoires dans le champ des politiques de développement est en apparence attractive, il y a peu de chances qu’elle offre des réponses à la hauteur des enjeux. Comme il n’est jamais judicieux de faire table rase du passé (Heckman, Chap. 13), que nous disent les 26 auteurs réunis dans cet ouvrage ?

Le principe des essais cliniques consiste à tirer au sort deux groupes au sein d’une population homogène : le premier reçoit un « traitement » (médicament, subvention, crédit, formation, etc.), le second un placebo, une intervention différente ou tout simplement rien ; à l’issue d’une certaine période, les deux groupes sont comparés afin de juger de l’efficacité de l’intervention ou d’en analyser deux modalités distinctes. Depuis le milieu du XXe siècle, cette méthode est couramment appliquée dans le domaine de la médecine, où elle suscite de nombreux débats. Cette méthode a ensuite été transposée à l’évaluation des politiques publiques dans des domaines de l’éducation, la criminalité, la fiscalité, etc., notamment aux États-Unis dans les années 1960-80, avec un bilan mitigé, comme le montre l’un des auteurs, lui-même prix Nobel d’économie, dans un des chapitres de l’ouvrage (Heckman, chap 13).

Depuis une quinzaine d’années, ces expérimentations sociales (que l’on désigne couramment par leur acronyme anglais : RCT pour Randomized Control Trials) se sont ouverts à un champ nouveau : celui des politiques publiques et de l’aide au développement. Une vaste panoplie d’interventions est ainsi passée au crible de la randomisation, notamment en matière d’éducation, de santé, de finance, d’agriculture ou encore de « gouvernance ».

De la théorie à la pratique…

Toute évaluation d’impact (d’un projet, d’une politique, d’un programme) se heurte à un défi récurrent : comment isoler l’effet de cette intervention des changements advenus par ailleurs ? De multiples méthodes existent, mais l’avantage des RCT est en théorie incontestable du fait que la sélection aléatoire d’échantillons représentatifs garantit, en principe et en moyenne, que toutes les différences mesurées entre les deux groupes sont dues à l’intervention et à rien d’autre.

Cet avantage est toutefois loin d’être garanti. Divers travaux ont mis en avant plusieurs types de limites (Deaton, également prix « Nobel » d’économie, Introduction ; Ravallion, Chap. 1) : des résultats observés dans un village indien ne sont pas transposables à un autre village malgache ou à une ville bolivienne ; la méthode mesure un impact (d’un accompagnement personnalisé sur le retour à l’emploi de chômeurs par exemple), mais elle ne permet pas d’en expliquer les processus sous-jacents (meilleure information, confiance en soi, pression…)  ; une mesure des résultats moyens, comme celle d’une hausse globale du niveau de vie, sans tenir compte de leur répartition, par exemple si quelques-uns se sont fortement enrichis et d’autres appauvris.

Par ailleurs, l’avantage de la méthode ne tient qu’en théorie. Une analyse fine de la mise en œuvre, sur le terrain, du protocole de la randomisation révèle une difficulté majeure : dans de nombreux cas, il est impossible de respecter le protocole, et ceci tout au long de la chaîne de l’évaluation. C’est le cas dès l’échantillonnage, qui n’est pas toujours aléatoire ou se focalise sur des populations très singulières afin de s’assurer qu’elles soient « vierges » de toute intervention.

Il arrive que l’intervention proprement dite soit modifiée pour respecter les exigences du protocole, notamment s’assurer qu’il y ait suffisamment de participation pour que l’écart entre groupe de contrôle et groupe de traitement soit statistiquement mesurable. Cet écart entre protocole théorique et réel s’observe au niveau de la collecte de données, dont la qualité laisse souvent à désirer car les randomisateurs sont souvent des économètres chevronnés mais n’ont pas nécessairement de compétences statistiques, or il s’agit là de métiers bien différents. Cet écart s’observe enfin au niveau du codage puis de l’interprétation des données, deux étapes qui supposent de multiples hypothèses, voire pour la seconde, une rhétorique qui peut se révéler très persuasive. La supériorité des randomisateurs du développement est peut-être avant tout une supériorité dans l’art de la rhétorique et le maniement des anecdotes (Labrousse, Chap. 8).

Evaluer des politiques de développement ou des biens privés ?

Compte tenu des exigences multiples de la méthode, celle-ci n’est applicable qu’à des interventions simples ou locales de courte durée ciblant des individus. Concrètement, ces micro-interventions concernent essentiellement des biens et services individuels et privés, et très rarement des biens publics et communs.

Quatre secteurs sont traités par le menu dans l’ouvrage. Dans le domaine de la santé, les RCT évaluent des actions de prévention et de traitements, des filtres à eau, de moustiquaires, de systèmes de formation et de primes pour les professionnels de la santé, de consultations gratuites, de conseils médicaux par SMS et de micro-assurances. Mais les RCT ne répondent pas à la question de la gestion des systèmes de santé, qui sont nécessairement complexes et systémiques, impliquant une main-d’œuvre qualifiée et motivée, une infrastructure, la fourniture de médicaments, etc. (Garchitorena et al., Chap. 5).

En matière d’assainissement, les RCT évaluent la distribution, la construction et l’utilisation de latrines. Mais elles ne répondent pas à la question de la gestion des flux de déchets humains et au type de réseau d’assainissement, d’infrastructure et de régulation qu’il conviendrait de mettre en place (Spears et al., Chap. 6).

En matière de réduction de la pauvreté, les RCT évaluent le microcrédit, l’épargne, la formation à l’entrepreneuriat et les services d’éducation financière et sa contribution à l’enrichissement individuel. Mais elles ne répondent pas à la question des processus de création de richesse régionale ou sectorielle, pourtant décisifs pour que l’enrichissement des uns ne se traduise pas par l’appauvrissement d’autres populations déjà pauvres ou proches de la pauvreté (Bédécarrats et al., Chap. 7).

Dans la gouvernance des administrations et des institutions publiques, les RCT évaluent des inspections aléatoires, des incitations financières, des audits par des tiers indépendants, des centres d’appel et des retours d’information par téléphone. Mais elles ne répondent pas à la question de la faible capacité de l’État, des bureaucraties centralisées marquées par un manque de confiance, des ressources limitées, des bureaucrates surchargés et des environnements de travail difficiles (Natarajan, Entretien).

Évaluer l’impact de projets réels ou tester des comportements hypothétiques ?

Même pour des biens et services privés, et compte tenu des multiples écarts entre protocole théorique et réel, les expérimentations sociales peinent à évaluer véritablement l’impact. En fait, elles se révèlent surtout adaptées pour tester les comportements des populations face à une intervention qui leur est proposée et que l’on fait varier (Morduch, Chap. 3). À défaut d’évaluer l’impact d’un microcrédit ou d’un filtre à eau, l’expérimentation sociale va permettre de comparer la réponse des populations à des modalités distinctes de microcrédit ou de filtre à eau. L’intervention varie, par exemple en termes de prix, d’information, de formation, etc., et l’expérimentation permet de tester la variabilité des taux d’adhésion, tandis que la question de l’impact reste entière. En d’autres mots, l’expérimentation permet de mieux vendre ou distribuer un produit ou un service, dont on imagine qu’il a un impact social positif. Dans de nombreux cas toutefois, on ne sait pas si c’est effectivement le cas ou juste la conviction du randomisateur.

Le recours à l’expérimentation sociale s’apparente finalement à du « marketing social ». Le marketing social consiste à appliquer les outils du marketing commercial pour concevoir des interventions visant à changer des comportements et des valeurs dans un sens supposé améliorer le bien-être individuel et collectif. Modelé par la théorie comportementale, le marketing social regroupe les techniques de nudge (coups de pouce), mais aussi des méthodes de marketing plus classiques (emballage, prix, identification des canaux et des lieux de distribution les plus appropriés, etc.).

Né dans les années 1970 dans des domaines tels que la santé reproductive, la prévention du sida, la thérapie de réhydratation pour les diarrhées ou encore l’assainissement, le marketing social s’étend aujourd’hui à de multiples secteurs comme l’environnement, l’agriculture, l’éducation, la gestion financière ou encore la consommation. Si le marketing social est certainement utile pour certains domaines circonscrits où il a fait ses preuves, imaginer qu’il puisse contribuer à résoudre la pauvreté est illusoire.

Les randomisateurs s’inscrivent ici dans une tendance plus large, qu’ils contribuent à légitimer en retour : l’abandon d’objectifs ambitieux et de politiques nationales de développement au profit de « kinky » indicateurs (Pritchett, Chap. 2) et d’un empilement de micro-interventions auxquels les comportements doivent se plier. Lorsque les comportements résistent, qu’à cela ne tienne, le marketing social doit permettre d’en venir à bout. Or ces résistances, loin de dénoter un archaïsme et un refus du progrès, dénotent le plus souvent des représentations divergentes du monde, par exemple de la richesse et de la pauvreté, du propre et du sale, ou encore du soin. Non seulement ces représentations ont leur propre légitimité locale, mais elles reposent sur une vision du monde qui fait de celui-ci un entrelacs d’interdépendances, finalement bien plus à même de saisir la complexité des processus économiques et sociaux que ce que suggère le monde composé d’agrégats individuels et atomisés des randomisateurs.

Protéger les populations ou faire avancer la science ?

Toute recherche, quelle que soit la méthode, suppose de respecter des obligations éthiques. Les expérimentations sociales sont toutefois davantage concernées que les autres méthodes, pour au moins deux raisons : car elles manipulent l’environnement qu’elles étudient (la vie des gens) ; car elles portent sur des populations particulièrement vulnérables. Des normes éthiques existent et font l’objet de diverses déclarations et protocoles à respecter. On citera notamment le consentement éclairé, le principe de « Ne pas nuire », l’offre d’une protection spécifiquement envisagée pour les populations vulnérables, etc. Il est frappant de constater que dans les expérimentations appliquées au développement, bien souvent les chercheurs ignorent ces normes, comme le montre un des chapitres de l’ouvrage (Abramowicz and Szafarz, Chap. 10). Ils n’hésitent pas à mesurer les effets de la corruption sur le permis de conduire, ce qui encourage à la fois la corruption et la conduite sans permis (en Inde) ; à accorder des microcrédits aux personnes considérées comme insolvables par un organisme de crédit, sans se soucier des risques de surendettement (y compris en Bosnie ou au Mexique, où le surendettement des populations vulnérables est avéré) ; ou encore à couper l’eau de locataires d’un bidonville pour voir si cela incite leurs propriétaires à payer la facture d’eau (au Kenya), pour ne citer que quelques exemples.

Pourquoi en est-il ainsi ? La réponse est assez simple : la foi dans l’avancement de la science et les gains promis dans le futur sont considérés comme supérieurs à la nécessité de protéger, aujourd’hui, les populations concernées. Notons ici la désinvolture des comités d’éthique des universités d’appartenance des chercheurs et des revues académiques qui acceptent de publier les résultats de telles études. Là encore, les dérives des randomisateurs reflètent un malaise plus général : l’incapacité actuelle du monde de la recherche à garantir sa propre déontologie. Cette dérive éthique n’est pas sans rappeler la délocalisation des essais cliniques médicaux des pays du Nord vers ceux du Sud, motivée à la fois par des gains de coût et une moindre résistance à participer aux expérimentations, problème que l’on sait récurrent dans les expérimentations menées au Nord. Méconnaissant leurs droits, pris dans des rapports de force déséquilibrés, les pauvres du Sud sont bien en peine de refuser. Indépendamment de toutes les limites scientifiques évoquées jusque-là, remédier aux défaillances éthiques de nombre de ces expérimentations sociales est un impératif immédiat, certains appelant même à un moratoire.

Quelles réponses à la pandémie ?

Finalement, qu’attendre des expérimentations sociales pour lutter contre la pauvreté dans le contexte de la Covid-19 ? La réponse est malheureusement pessimiste. À toutes limites identifiées dans l’ouvrage et résumées ici succinctement s’en ajoutent de nouvelles, spécifiques à ce contexte inédit. L’ampleur du choc change totalement la donne. La transposition problématique de résultats locaux obtenus en temps normal n’a aucune chance de tenir en période de bouleversement des comportements. La transmission de la maladie ne dépend pas seulement de comportements individuels mais aussi collectifs, synonyme d’externalités généralisées pour lesquelles la méthode est inadaptée.

Les RCT servent une stratégie de production de connaissance où, plutôt que d’aborder des questions complexe dans leur globalité, on les segmente en une série de questions simples et qui se prêtent aux exigences de la méthode. Cette approche micro, par « petits pas », n’est pas adaptée à la nécessité de réponses macro, de passage impératif à l’échelle, au niveau national ou au pire régional, avec des effets d’équilibre général systématiques. Il s’agit de mesures d’urgence massives de chômage partiel, de transferts monétaires aux ménages, de subventions aux échelons décentralisés, de garanties et de lignes de crédit…, avec en face les politiques fiscales, monétaires et budgétaires pour les financer ; autant d’interventions mobilisant tous les rouages de l’administration qui ne peuvent être évaluées par le truchement des RCT.

De plus, l’urgence de la mise en place des mesures face au temps long nécessaire à la méthode, ainsi que les questions éthiques que poserait l’exclusion de populations tirées au hasard pour les besoins de la randomisation, sont autant de raisons supplémentaires écartant les expérimentations.

Les pouvoirs publics de par le monde ne s’y sont pas trompés. Alors que pour la mise au point d’un vaccin, les essais cliniques se sont multipliés, à notre connaissance aucune politique publique dans le domaine des interventions non pharmaceutiques et encore moins dans le champ économique et social ne s’est basée sur les résultats de RCT conduites jusque-là ou en cours. Même dans le domaine médical et épidémiologique, dès que l’on s’intéresse à des interventions impliquant des comportements humains, la méthode clinique montre ses limites.

Ainsi, une revue systématique utilisée par l’OMS qui ne s’appuyait que sur des études randomisées concluait à l’inefficacité des masques pour les non-soignants, pointant même leurs effets négatifs. Parallèlement, une autre revue systématique publiée par le Lancet, qui s’appuyait principalement sur les études observationnelles, concluait quant à elle à la grande efficacité des masques pour la population en général. Est-ce à dire qu’il aurait fallu renoncer aux masques ou, plus judicieusement, appliquer le principe de précaution, en attendant que les études scientifiques tranchent la question ?

L’inefficacité des expérimentations sociales ne veut pas dire que les randomisateurs aient rendus les armes, au contraire. Réitérant des études anciennes, les spécialistes de la méthode proposent des astuces pour améliorer l’adhésion aux assurances ou l’apprentissage en ligne. Ils se lancent dans des campagnes massives (25 millions de personnes ciblées au West-Bengale) visant à tester différentes techniques d’incitation pour respecter les mesures de distance sociale. L’une de ces techniques consiste à mettre en scène une « célébrité » (en l’occurrence Abijit Banerjee lui-même). Ils suggèrent aux gouvernements d’investir massivement dans deux domaines : celui des transferts monétaires et celui des infrastructures digitales de manière à distribuer efficacement ces transferts aux populations visées.

Ceci n’est pas inutile. Mais d’une part, bien d’autres plaident aussi pour ce type de mesure et la méthode des essais randomisés ne leur apporte pas de légitimité particulière. D’autre part, ici encore, la dimension structurelle de ces mesures, tant dans leur mise en œuvre à grande échelle que dans leurs effets à court, moyen et long terme, reste entière. Elle est pourtant essentielle. Comme indiqué précédemment, quelles sont les politiques fiscales, monétaires et budgétaires permettant de financer ces politiques de transferts monétaires ? Quelle est l’infrastructure technique et surtout réglementaire garantissant un usage démocratique de la finance digitale ? Celle-ci peut certes permettre de distribuer de l’argent plus rapidement à des populations vulnérables, mais elle peut aussi se traduire par un contrôle et une violation de la vie privée.

Considérer que les expérimentations sociales sont un remède efficace à la lutte contre la pauvreté revient en fait à considérer celle-ci uniquement en termes de « manque » à l’échelle individuelle. Lutter contre ces manques plaide pour des politiques visant à les combler et le recours à un contrefactuel se révèle dès lors adapté pour comparer une situation « avec » et « sans ». En revanche, une conception de la pauvreté en termes de processus et de rapports de pouvoir nécessite des politiques macroéconomiques et structurelles ; et la compréhension de l’impact de ces mesures nécessite une analyse processuelle, explorant la diversité et la complexité des processus causaux qui génèrent l’impact.

Plus que jamais les RCT doivent être remises à la place qui leur revient : une méthode parmi d’autres sans statut d’exception, éventuellement et à combiner avec d’autres, et peu adaptée à répondre au défi causé par la pandémie. Même si les voix critiques se font entendre, de nombreux cercles académiques et autres n’ont pas encore pris la mesure de leurs limites. Les RCT, fortes de l’attribution du prix Nobel et des efforts redoublés de ses promoteurs pour en vanter les mérites, continuent à drainer des millions d’euros, bien souvent au détriment d’autres approches au moins aussi rigoureuses et utiles.

NDLR : Florent Bédécarrats, Isabelle Guérin et François Roubaud viennent de diriger l’ouvrage Randomized Control Trials in the Field of Development: A Critical Perspective chez Oxford University Press en octobre 2020.