Analyse

Depuis les années 2000, une progression fulgurante de la capacité des ordinateurs à collecter, stocker et traiter de la donnée a eu lieu, annonçant un nouveau printemps de l’intelligence artificielle, ou plus spécifiquement des algorithmes d’apprentissage automatique (Machine Learning en anglais, « ML »). Ceux-ci ont pour objectif de permettre à une machine d’accomplir une tâche sans être explicitement programmée, et sont schématiquement le résultat de la convergence des statistiques et de l’informatique. Dans un contexte où internet a permis une massification, fluidification et grande diversification de l’information, ces algorithmes transmuteraient les flux bruts en un savoir de qualité.

Ainsi, accompagnant ce phénomène, nous observons l’avènement de ceux que l’on appelle les « géants du numérique », pour ne pas les nommer, Google, Amazon, Facebook, Apple, Microsoft, du côté américain, chacun proposant ses propres structures algorithmiques. À titre d’exemple, prenons Google qui se présente comme un système de classement qui trie l’information pertinente grâce, entre autres, à des analyses de flux – flux de clics, flux de liens – et une contextualisation personnalisée. Ou encore Facebook, qui grâce à des chaînes de transformations a rendu public ce qui était privé, a participé à la relativisation du travail journalistique, en particulier en s’appuyant sur des systèmes de ciblage qui déterminent le contenu pertinent pour chacun, à partir de critères décidés algorithmiquement.

Ainsi, les géants du numérique sont ceux qui aujourd’hui seraient en mesure de nous fournir un savoir de qualité. Et comment accomplissent-ils cela ? Grâce à des algorithmes dont l’objectif est de discriminer ce qui est ou n’est pas de qualité, du moins dans un contexte donné. Ceux-ci explorent, capturent et optimisent. Si ces algorithmes peuvent tenir une telle promesse dans le périmètre ardu de l’information accessible sur internet, il n’est pas étonnant qu’ils éveillent les fantasmes les plus fous : ne pourraient-ils pas nous permettre de déterminer la personne la plus qualifiée pour un emploi ? Ne pourrait-on pas déterminer le niveau de risque précis que représente un crédit à une personne donnée ?

Merveilleux monde où enfin, ce qui est bon, ce qui est bien, ce qui est de qualité, pourrait être connu sans ambiguïté, puisqu’alors que jusqu’à présent notre rationalité limitée ne nous permettait que de prendre des décisions sous-optimales basées sur des heuristiques vagues, l’algorithme, lui, serait en mesure de découvrir, comme on a découvert que la Terre est ronde et tourne autour du soleil, le point optimal en toute chose. Ainsi, l’algorithme discrimine : il trie, il catégorise, il filtre ; il sépare le bon grain de l’ivraie.

Alors qu’on nous promet que ces algorithmes, fondés sur des principes mathématiques de discrimination, vont permettre la mise en place efficace d’un pilotage sans faille de nos sociétés, des travaux nous apprennent qu’il semblerait que ces algorithmes soient biaisés. Mais qu’est-ce que le biais ? En statistique, on peut définir le biais comme la différence entre la valeur réelle et la valeur estimée. Du point de vue social, le biais, c’est une déformation, un travers qu’il convient de résoudre. En d’autres termes, le biais est le niveau de déformation que l’algorithme applique à la réalité. Ainsi, les algorithmes ne seraient donc pas le reflet de la société, mais en renverraient une vision déformée ?

Non, nous dit-on, ce n’est pas exactement ça, les biais algorithmiques sont le reflet des biais humains, ils seraient même une opportunité pour l’intelligence artificielle puisqu’ils permettraient d’exposer à la vue de tous des biais dont nous n’avions pas conscience jusqu’à présent et de les rectifier, pour coller donc, au plus proche de la réalité. Ainsi, ils ont l’air de nous dire : qui pouvait bien se douter que les métiers dits de la « tech » (technologie) étaient principalement occupés par des hommes avant qu’un algorithme ne propose de ne recruter que des hommes pour ces postes mettant en évidence ce « biais » ? Qui pouvait bien se douter du fait qu’on accordait des crédits plus importants aux hommes qu’aux femmes avant qu’un algorithme bancaire soit dénoncé ? Qui pouvait bien se douter que les personnes noires avaient une place moins importante sur la scène photographique occidentale jusqu’à la révélation algorithmique ?

Mais ce n’est pas tout, nous dit-on. Vous oubliez que nous allons pouvoir les rectifier.  Cette rectification aura lieu dans les laboratoires des GAFAM, et grâce à la mise en place de processus robustes internes aux entreprises. De cette manière-là, nos démocraties seront améliorées.

Arrivées là, nous sommes perplexes. Reprenons, les algorithmes sont créés pour discriminer, et c’est ce qu’ils font. Mais ces mêmes algorithmes pourraient en même temps remédier aux discriminations. Pour remédier à ces discriminations, et renforcer nos démocraties, un travail technique (et non pas politique) mené derrière des portes closes, par des personnes dont la légitimité n’est en tout cas pas démocratique pourrait avoir lieu. Et nous nous demandons : finalement, parler de biais algorithmique, ne serait-ce pas une manière de ne pas parler de discrimination ? De techniciser la discrimination, puisqu’après tout le biais n’est qu’une erreur à corriger, déplaçant in fine le concept même de démocratie ?

Pour répondre à ces questions et comprendre ce qui se joue ici, nous proposons d’une part de repartir des objectifs pour lesquels les algorithmes sont développés en nous appuyant sur des exemples, de manière à avoir une compréhension empirique de la question. Nous mettons en évidence l’existence d’une tension entre la rationalité économique suivie par l’algorithme, et la possibilité de résoudre des discriminations. À partir de là, une réflexion plus théorique peut être menée, en particulier une compréhension des différents paradigmes dans lesquels s’inscrivent la notion de biais et celle de discrimination, de manière à ouvrir sur une réflexion éthique de ces questions.

Algorithme : tenant de la rationalité économique, ou justicier des temps modernes, il faut choisir !

La question des biais algorithmiques a été plus spécifiquement portée à notre attention à la suite de trois scandales qui serviront de fil rouge à notre argumentaire. Le premier, et probablement le plus parlant ici a trait à l’Apple Card (une carte de crédit) : une riche américaine, Jamie, à présent mère au foyer de trois enfants, mais qui insiste sur le fait que d’une part, elle était millionnaire avant même de rencontrer son mari, David, et d’autre part, elle avait une meilleure note de solvabilité que lui, fait une demande pour obtenir une Apple Card.  Alors même que tous leurs comptes sont communs, elle constate que la limite de crédit accordée à son mari est vingt fois supérieure à la sienne. Scandalisé, le couple fait appel au service client, dont le représentant blâme l’algorithme pour cette différence, et réajuste l’autorisation de crédit de Jamie au même niveau que celle de David.

Avant de rentrer dans une réflexion autour de cet exemple, nous commencerons par poser clairement que toute forme de discrimination nous semble inacceptable, et que notre argumentaire vise à démontrer la contradiction existante entre la volonté de rester dans un paradigme, que nous nommerons ici algorithmique, et la possibilité même de réduire les discriminations, à un niveau plus politique.

Ainsi, Jamie commande une Apple Card. Forte de sa note de solvabilité, qu’elle a dûment choyée, et de son capital personnel (historique et conjugal), elle estime que ces critères devraient permettre à l’algorithme de la positionner au moins dans la même classe de risque que celle de son mari – sans remettre en cause plus loin la limite plus élevée qu’elle pourrait pourtant obtenir, puisqu’elle est millionnaire par ailleurs. Ainsi, il semblerait qu’elle attende de l’algorithme une rationalité économique qui se base sur des critères lui permettant de discriminer objectivement le profil de risque auquel il a à faire et décider de la limite maximale de crédit à lui proposer.

Jamie semble de l’avis que les facteurs « note de solvabilité » et « capital personnel » sont des facteurs pertinents à prendre en compte. Ainsi, elle ne remet pas en question la rationalité économique de l’algorithme, discriminante par essence. Les axiomes sous-jacents à cette pensée sont (1) qu’être femme n’est pas un état sur lequel on peut agir individuellement, alors que (2) les facteurs « purement » économiques dépendraient principalement de l’effort individuel à exploiter ses capacités naturelles[1]. Bien sûr, (1) être femme ne devrait jamais être un facteur discriminant. Cela étant dit, arrêtons-nous sur le second point. La simple idée qu’il existe des facteurs « purement » économiques (2), c’est-à-dire qui existeraient indépendamment de facteurs socio-historico-politiques, est absurde. En effet, un simple survol de statistiques démontre une inégalité des chances de réussite en fonction du milieu dans lequel on est né[2], mais aussi de la couleur de sa peau (aux États-Unis, ces statistiques étant interdites en France).

À présent, nous sommes en bonne position pour tirer des conclusions. Dans une société où les femmes monteront moins haut dans l’échelle des salaires que les hommes, même dans les cas favorables où elles et ils auraient commencé au même niveau, parce qu’on estime qu’il est normal que leurs carrières soient ralenties de manière forcée si elles ont des enfants, ou encore tout simplement parce que comme le PDG de Microsoft l’avance, les femmes ne devraient pas demander d’augmentation (pour faire preuve de bon karma), ou encore tout simplement parce qu’elles sont des femmes ; dans une société où après un divorce ce sont les femmes qui sont les plus impactées ; dans une telle société, l’algorithme serait totalement irrationnel (d’un point de vue économique) d’accorder la même limite de crédit aux femmes qu’aux hommes.

Une société d’autant plus sexiste, qu’en effet, lorsque la rationalité économique algorithmique a touché les hommes, dans le cas des assurances-auto, alors on a fait une entorse à cette même rationalité économique, pour passer dans la loi qu’il serait illégal de faire payer plus les hommes. Si Jamie est réellement tenante de la rationalité économique, comme elle le revendique, alors, dans la société dans laquelle nous vivons, la discrimination que l’algorithme applique aux femmes est probablement tout à fait rationnelle.

Nous voyons l’incohérence du discours de Jamie qui, probablement sans même s’en rendre compte, s’assure de la conservation du statu quo sur plusieurs niveaux. La conservation de ce statu quo, notamment par les femmes blanches et bourgeoises, a été théorisée par plusieurs féministes, dont bell hooks, qui explique comment le statu quo permet en fait de conserver une domination de classe sur toutes les autres femmes[3]. Lorsque Jamie avance qu’elle ne se bat pas pour elle-même mais pour que l’exposition de ce sexisme profite aux femmes moins privilégiées[4], ses paroles ont une portée purement performative. Elle fait plus preuve en réalité d’une solidarité de classe qui empêche une émancipation des « autres femmes » mentionnées par b. hooks. De fait, les conditions de crédit peuvent être corrélées au genre, mais également à la classe sociale d’origine, la couleur de peau… et cette multiplicité de critères existant est totalement marginalisée par Jamie, qui ne prend en compte que sa situation particulière et prétend parler pour « toutes les femmes ».

En résumé, le prisme purement conséquentialiste par lequel elle pose le problème l’occulte intrinsèquement : « Quand le sage désigne la lune, l’idiot regarde le doigt ». D’une part, supposons que l’on ne prenne en compte que des facteurs que Jamie estime « purement économiques » (capital personnel, note de solvabilité, et ajoutons salaire, et profession, pour nous autres roturiers qui ne sommes pas millionnaires de toute façon) : nous avons mis en évidence que ces facteurs sont emprunts de discriminations plus profondes, et qu’ils ne pourront donc que les refléter tant qu’un changement de paradigme n’aura pas eu lieu. Ainsi, la seule manière de « débiaiser » l’algorithme serait probablement de ne pas utiliser d’algorithme du tout et d’accorder à tous le même plafond de crédit.

De plus, effacer artificiellement la discrimination homme-femme dans un algorithme de notation de solvabilité ne changera rien au fait que les femmes subissent effectivement nombre de discriminations qui impactent leurs possibilités financières. Il en est de même pour les personnes dont la classe sociale d’origine est plus défavorisée, ou les personnes de couleur. Pire, le résultat est que le problème serait rendu invisible[5]. Ce positionnement est d’autant plus dangereux que plus on cache le problème, plus on empêche de le penser.

Enfin, il est intéressant ici d’intégrer les problématiques liées aux questions de l’intersectionnalité, courant féministe pensé en premier lieu par Kimberley Crenshaw, et qui montre les différences de réalité, notamment au niveau des discriminations subies, par les femmes noires, de classes populaires.  Dans son travail, Crenshaw montre que ces femmes subissent des discriminations aux intersections, entre sexisme, racisme et classisme. Ces intersections sont politiques, localisées, et dépendent fortement du contexte dans lequel elles vont s’exprimer et se manifester.

Ainsi, réduire les raisonnements autour de la discrimination à des raisonnements sur les biais algorithmiques empêche la prise en compte de discriminations plus diffuses, enracinées et inscrites dans des pratiques historiques sur le long terme. Cela occulte la complexité du problème : la position des dé-biaiseurs algorithmiques veut que si on ne peut pas trouver de corrélation parfaite entre l’algorithme et la discrimination, c’est qu’il n’y a pas de problème. Enfin, et c’est ce sur quoi nous nous penchons par la suite, cette position dépolitise la question de la discrimination, la transforme en problème purement technique, et ainsi modifie les groupes légitimes pour s’en emparer.

Glissements de légitimité, appropriations des problématiques

La transformation du concept de discrimination en concept de biais se présente comme un cheval de Troie pour faire passer ces questions du domaine public au domaine privé (au sens de l’entreprise)[6]. En effet, pour ceux qui avancent que les biais algorithmiques sont une opportunité (tenants du paradigme algorithmique) : ils le sont car ils permettent d’exposer au grand jour ces biais (d’origine humaine), et donc de les corriger. Et ceux-ci nous expliquent de plus que cette correction sera menée par les entreprises elles-mêmes, car le risque réputationnel serait une motivation assez importante pour cela. Nous avançons que cette position pose deux problèmes : (1) d’une part, seules des voix assez puissantes pour se faire entendre peuvent en effet jouer sur ce risque réputationnel ; (2) d’autre part, dès l’instant où on estime que la discrimination est un phénomène ancré dans des dynamiques sociales, historiques et politiques, la question de la légitimité de l’Entreprise pour la résoudre se pose.

Penchons-nous sur le premier point (1) : seules les voix les plus puissantes pourront se faire entendre, puisqu’elles seront les seules à pouvoir faire infléchir les entreprises. Ce point a été largement illustré par l’exemple précédent, où Jamie explique elle-même qu’elle ne s’exprime pas pour elle seule, mais aussi pour les plus vulnérables, dont elle a conscience que les voix ne seront pas si facilement entendues.

Mais ce point a deux conséquences importantes, qui sont liées : seules celles qui peuvent se faire entendre peuvent décider des sujets qui doivent être portés à l’attention (des entreprises) ; celles-ci sont alors les seules qui peuvent proposer la manière la plus appropriée de les résoudre.

Pour illustrer le premier point, prenons nos trois scandales. Le premier, largement développé, est celui de l’Apple Card. Le second est celui décrit par l’article du Point : l’algorithme de recrutement d’Amazon. Amazon ayant entraîné un algorithme de recrutement pour des emplois hautement qualifiés dans la tech a découvert avec (une étrange, pour qui comprend le fonctionnement d’un algorithme) stupéfaction que celui-ci (utilisé en phase de test) privilégiait le recrutement des hommes par rapport à celui des femmes, car ces emplois étaient historiquement largement occupés par des hommes. Amazon, sauveur des peuples, a exposé publiquement ce biais, et annoncé l’arrêt des tests. Enfin, le troisième exemple concerne Joy Buolamwini, une chercheuse du MIT qui a découvert et exposé au grand jour que les algorithmes de reconnaissance faciale sont plus précis pour reconnaître les personnes blanches que les personnes noires.

Ainsi, nos trois scandales ont trait à : la limite de crédit lorsqu’on souscrit à une Apple Card ; le recrutement des meilleurs profils tech chez Amazon ; les logiciels de reconnaissance faciale. Alors oui, toute forme de discrimination est inacceptable. Mais malgré tout, peut-être que ces sujets ne sont pas les sujets qui touchent la plus grande partie de la société. Ces exemples illustrent parfaitement le propos de Crenshaw qui montre comment les voix des personnes « sur les marges » (une personne de couleur, handicapée et pauvre par exemple) sont perdues, annihilées, et supplantées par la prise de parole de celles qui au contraire ont une voix audible, qui pourront porter, parce que certains de leurs privilèges leur donnent accès à des outils qui le leur permettent, donc, de se faire entendre.

Ainsi, les voix des premières sont remplacées par les voix des secondes, mais qui n’évoquent pas les mêmes problématiques in fine. Cela pouvant même être poussé à l’extrême, où celles qui ont le pouvoir de se faire entendre ordonnent aux autres de se taire, par exemple, une pigiste chez Le Point, entrepreneuse et scientifique par ailleurs, se revendiquant féministe : « Amazon est entièrement responsable de ses actes, mais une transparence saine de ses activités ne peut exister dans une atmosphère révolutionnaire et dangereuse de la part de citoyens néophytes. »

De plus, nous l’avons vu, seules les voix qui peuvent se faire entendre ont le pouvoir d’orienter la manière dont les questions peuvent se résoudre. Cela se perçoit de manière caricaturale dans la citation ci-dessus, où l’auteure de l’article impose le silence aux autres, puisqu’elle estime que la résolution du problème est satisfaisante. Cela a aussi largement été illustré dans la première partie à travers l’exemple de Jamie, où nous nous sommes évertuées à démontrer que les méthodes de résolution qu’elle proposait ne pouvaient fonctionner que pour des personnes aussi privilégiées qu’elle, et n’auraient pour résultat que de conserver le statu quo.

À présent, abordons le second point, (2) la question de la légitimité des entreprises à résoudre des problèmes de discrimination. Nous l’avons vu tout au long de cet article, les questions de discrimination sont des questions complexes, ancrées dans un contexte socio-historico-politique. Pourtant, présenter la question des discriminations comme une question qui a trait aux biais revient à dépolitiser la question des discriminations. On fait alors glisser le domaine de légitimité de la réflexion qui s’impose : d’une question démocratique, à une question technique. On peut alors comprendre l’injonction que l’on trouve dans l’article du Point aux « citoyens néophytes » de se taire. En effet, ces questions ne font plus partie de leur domaine de légitimité : ce sont des questions techniques (puisqu’ici l’adjectif néophyte se réfère à leur méconnaissance des algorithmes).

Cette vision suppose alors qu’il existe une solution unique, une seule bonne manière de faire, car s’il y en avait de multiples, il faudrait décider de manière démocratique. Cette solution unique sera déterminée par la technologie. De manière intéressante, cette vision est largement héritée de celle des pères des statistiques : Galton et Pearson, deux eugénistes anglais, qui ont développé la statistique dans le but de découvrir les facteurs héréditaires déterminant qui serait une personne supérieure ou qui ne le serait pas (et éliminer les « problèmes » en conséquence). Il existait donc un bon humain. En extrapolant, confier à la technologie le soin de résoudre les problèmes de biais sociaux (et non de discrimination) revient à mettre en avant un « bon humain », et empêche de penser les racines des discriminations, et les moyens de lutter contre celles-ci.

Bien sûr, nous ne pouvons que rejeter cette vision. La dernière partie de l’article va se pencher sur la nécessité d’avoir une vision globale du problème de l’articulation entre biais et discrimination pour développer une éthique.

L’éthique : la nécessité d’une vision globale

En résumé, que nous proposent les tenants du paradigme algorithmique ? D’une part, ce que nous avons vu : une société où les techniciens décident pour les autres de ce qui est bon ou mauvais derrière des portes closes, dans des comités sans aucune légitimité démocratique (de toute façon non nécessaire, puisqu’il existerait une solution unique pour chaque chose).

De plus, ils nous proposent de découvrir avec stupéfaction des problèmes que l’on avait déjà identifiés (surreprésentation des hommes dans la technologie, discriminations salariale et financière des femmes, surreprésentation des images de personnes blanches dans les pays occidentaux) et de les résoudre en grande pompe, à un niveau localisé. Localisé puisque non global :  ces problèmes ne sont que les conséquences de phénomènes plus ancrés, qu’ils nous proposent au mieux de colmater. Dans le cas de la limite de crédit, en imposant qu’un homme et une femme à facteurs économiques égaux puissent obtenir les mêmes crédits : cela occulte les raisons pour lesquelles ce n’était pas le cas et en aucun cas ne permet de les changer (le fait que les femmes sont tout au long de leur vie confrontées à des situations qui les mettent plus à risque que les hommes). Pour évoquer les « femmes moins privilégiées pour qui [Jamie se] bat », ne pas penser ce qui cause ces limites différentes de crédit entre femmes et hommes empêche justement toute diffusion à des femmes qui n’ont pas les mêmes moyens qu’elle de faire entendre leur voix.

Dans le cas de l’algorithme de recrutement, en n’utilisant plus d’algorithme, ou alors seulement des algorithmes qui lisent les expressions corporelles et faciales (est-ce tellement souhaitable par ailleurs ?) ; cela occulte le fait que les femmes sont sous-représentées dans les études supérieures scientifiques, et les raisons pour cela. Dans le cas de l’algorithme de reconnaissance faciale, aujourd’hui la solution a été trouvée en entraînant l’algorithme avec plus de photos de personnes de couleur. Toutefois, cela ne changera rien à la surreprésentation des personnes blanches dans les images circulant dans le monde entier.

Ainsi, on nous propose de résoudre en grande pompe grâce à des tambouilles statistiques des problèmes dont on ne se fiche pas, mais presque. C’est donc se donner l’illusion de résoudre un problème, sans jamais faire l’effort de saisir ce qui est en jeu : la prise de conscience politique d’une situation diffuse, étendue, et durable. Et cela ne pose même pas encore la question de la résolution, celle-ci ne pouvant émerger que dans un second temps, puisque la question de la résolution est aussi profondément politique.

En réalité, le paradigme algorithmique est dangereux : il pose le problème de manière simpliste, il simplifie le langage[7], et avec lui la manière de concevoir nos sociétés. Il impose par sa nature même de ne se concentrer que sur des problèmes particuliers. En effet, rappelons-nous que les échecs de l’intelligence artificielle sont liés à son ambition démesurée (comprendre et reproduire la cognition humaine). À l’inverse, l’apprentissage automatique, ML, dont nous parlons ici, a pour objectif plus humble, de permettre à une machine d’accomplir une tâche spécifique sans être explicitement programmée[8].

Ainsi, l’algorithme ne permettra au mieux que d’observer les conséquences de son utilisation pour telle tâche spécifique (et encore, par exemple dans le cas de la limite de crédit, il n’est pas évident que l’utilisation de l’algorithme permette de mettre en exergue des discriminations autres que les discriminations femmes-hommes). Le paradigme algorithmique ne permet donc que de se concentrer sur des problématiques particulières et localisées, et encore, uniquement dans le cas où un lien de cause à effet unique et direct peut être observé. Dans les cas où ce lien serait diffus, donc la majeure partie des cas de discriminations, il ne sera même pas remarqué, même sur un problème particulier.

Pour conclure, nous proposons de nous souvenir de l’éthique selon Spinoza : une éthique qui demande qu’on ne confonde pas les causes (discriminations) et les effets (biais) ; une éthique exigeante, puisqu’elle demande que l’on reconnaisse les constructions propres à nos sociétés pour pouvoir y réfléchir. Une éthique, donc immanente, et non pas une morale qui traiterait les discriminations comme un résultat transcendant, auquel nous serions condamnés à seulement réagir. Il ne s’agit pas de réagir au gré de nos expériences, mais plutôt de mener une réflexion approfondie, qui servira d’énergie à un mouvement actif.