Pour les articles homonymes, voir Biais.

Un biais algorithmique est le fait que le résultat d'un algorithme ne soit pas neutre, loyal ou équitable, pour des raisons inconscientes ou délibérées de la part de ses auteurs.

Un biais algorithmique peut se produire lorsque les données utilisées pour entraîner un algorithme d'apprentissage automatique reflètent un sous échantillon non représentatif et non exhaustif de la population générale, et donc potentiellement des caractéristiques ou des valeurs implicites des humains impliqués dans la collecte, la sélection, ou l'utilisation de ces données^[1]. Les biais algorithmiques ont été identifiés et critiqués pour leur impact sur les résultats des moteurs de recherche^[2], les services de réseautage social^[3], le respect de la vie privée^[4], et le profilage racial^[5]. Ainsi, un biais peut être raciste, sexiste, culturel, générationnel, social ou autre^[6].

Le biais algorithmique peut être involontaire et ne procède pas nécessairement d’une volonté délibérée des concepteurs. Par conséquent, il est important d'avoir conscience que la conception et l'usage d'un algorithme peut reproduire ou amplifier certains biais. Cette problématique pose la question du manque de rétrocontrôle des concepteurs, programmeurs et utilisateurs d'algorithmes^[7].

Un algorithme est biaisé lorsque son résultat n'est pas neutre, loyal ou équitable. Cette définition repose donc sur trois notions : la neutralité, la loyauté et l'équité. Les biais algorithmiques conduisent à des discriminations^[8].

Pour éviter que les algorithmes ne soient biaisés par absence d’équité, les chercheurs^[9] préconisent de développer des algorithmes qui respectent des principes d'équité^[8],[10].

Cette approche suppose de définir l'équité. Corbett-Davies et Goel 2018 distinguent trois définitions^[11] :

• l'anti-classification consiste à ne pas prendre en compte les variables susceptibles de discriminer (par exemple le genre ou la race)
• la parité de classification consiste à faire en sorte que la performance du modèle^[Quoi ?] soit la même entre les différents groupes
• la calibration consiste à faire en sorte que les résultats conditionnellement au risque estimé soient indépendants des différents groupes.^[pas clair]

Hamilton (2016) distingue aussi l’équité individuelle et l’équité de groupe. L'équité individuelle garantit que les individus aux caractéristiques similaires soient pris en compte de la même manière tandis que l'équité de groupe garantit que les personnes de groupes différents soient prises en compte différemment^[12].

Des mesures ont été préconisées pour quantifier l'équité d'un algorithme vis-à-vis d'individus ou de groupes^[13].

L'algorithme et son responsable doivent communiquer et informer les utilisateurs sur son fonctionnement. L'algorithme doit précisément « dire ce qu'il fait et faire ce qu'il dit » sans renforcer ou reproduire une quelconque discrimination^[14],[15].

La neutralité des algorithmes est l'idée selon laquelle les systèmes informatiques automatisés, comme les algorithmes, les réseaux de neurones et les systèmes décisionnels ne doivent pas introduire de biais ou de discrimination envers certaines personnes ou groupes de personnes ^[16]. Cela signifie qu’ils doivent fonctionner de manière impartiale et traiter toutes les personnes de manière équitable, indépendamment de leur origine ethnique, leur genre, leur orientation sexuelle, leur religion, leur race. C'est un idéal à atteindre, et cela nécessite de lutter contre les biais et les discriminations algorithmiques au moyen de techniques comme l’évaluation des biais, la diversité des données, la transparence des algorithmes et l’interprétabilité pour s’assurer que les algorithmes sont équitables et non discriminatoires.

Les biais de l'algorithme peuvent résulter de biais cognitifs du data scientist, de biais statistiques liés notamment aux données d'apprentissage ou de biais économiques^[8]. Ils affectent la justesse des décisions des machines.

Les data scientists qui développent des algorithmes peuvent être sujets à de nombreux biais cognitifs. Parmi ceux-ci, le biais du mouton de Panurge consiste à utiliser une modélisation « consensuelle » sans s'assurer de sa pertinence dans un contexte donné. Le biais de confirmation consiste à favoriser la vision du monde de la conceptrice sans prendre en compte les données qui ne vont pas dans son sens^[8]. Le biais social provient d’une influence extérieure au développeur^[17]. Le biais de présentation, quant à lui, se réfère au design d’une interface qui incite à faire un choix, par exemple l'acceptation des cookies sur un site internet plutôt que leur refus^{[17],[18][source secondaire souhaitée]}.

Les data scientists qui développent des algorithmes ne sont pas représentatifs de la population générale. Une étude de l'institut AI Now de 2018 souligne que seuls 15% du personnel de recherche en intelligence artificielle chez Facebook et 10% chez Google sont des femmes^[19],[20].

La surreprésentation des hommes blancs parmi les data scientists et la sous-représentation des minorités peut conduire les data scientists à ne pas assez prendre en compte les biais et les discriminations potentiels. D'Ignazio et Klein 2020 appellent cela le « risque de privilège » (privilege hazard)^[20]. Les algorithmes seraient alors biaisés du fait de leurs concepteurs et pourraient être discriminants, voir racistes.

Les biais statistiques peuvent provenir des données contenues en entrée de l'algorithme ou de l'algorithme lui même^[8]. Les résultats ne fourniront donc pas une représentation exacte de la population et seront erronés.

En 2015, un algorithme d'évaluation de curriculum vitæ développé par Amazon a été retiré quand on s'est aperçu qu'il discriminait fortement^{[pourquoi ?]} les CV féminins^[8],[21].

Les biais peuvent aussi venir de la méthode statistique. Ils sont issus des données fournies en entrée de l’algorithmique en raison de leur qualité ou représentativité, ou du modèle prédictif. Par exemple, le biais de variable omise découle de l’absence de variables pertinentes dans un modèle pouvant rendre ce modèle inutilisable. Dans le biais d'échantillonnage, l’échantillon du test n’est pas représentatif de la réalité. Le biais de sélection se produit quand la sélection de données est erronée et que le travail s’opère avec un sous-ensemble spécifique du groupe et non un sous-ensemble aléatoire. Le biais d'endogénéité implique que les variables endogènes sont déterminées au sein du modèle et sont corrélées avec le terme d’erreur, ce qui conduit à l’estimation de paramètres biaisés^[8]. Le biais temporel apparaît lorsque le comportement de l’utilisateur change très rapidement, par exemple dans l’effet d’accoutumance à une publicité^[17]. Le biais d’évaluation met en cause le modèle évalué selon une référence inappropriée^[17]. Le biais d’agrégation implique un modèle jugé sur sa performance globale^[17]. Le biais historique consiste à répéter un biais qui était déjà présent^[17].

Les biais économiques touchent les marchés, ils sont liés aux incitations économiques émanant d’un objectif financier par une entreprise qui se développe. Un algorithme peut donc être fondé sur une stratégie commerciale constituant volontairement ou involontairement un biais. Ainsi l’optimisation du rapport coût-efficacité de la diffusion d’offres d’emploi, qui vise à minimiser les coûts de recrutement pour une entreprise, a mené à discriminer les femmes^{[22],[8],[23]}.

Les biais économiques sont en partie la conséquence des économies que l'investisseur souhaite faire dans la réalisation du projet.

Les modèles de word embeddings (plongements lexicaux) peuvent reproduire les biais psychologiques humains.

Caliskan, Bryson et Narayanan 2017 étudient le modèle de plongement vectoriel GloVe (en) et montrent que l'on retrouve des associations implicites entre des mots porteuses de préjugés. Ils proposent une méthode de mesure des préjugés inspirée du test d'association implicite^[24].

Selon Buolamwini et Gebru 2018, les femmes sont moins facilement reconnues par les logiciels de reconnaissance faciale d'IBM, Microsoft et Face ++. Sur 1270 portraits officiels de personnalités politiques qui leur ont été soumis, Face ++ a vu juste pour 99,3% des hommes, mais seulement 78,7% des femmes. Ainsi, 95,9% des erreurs de l'entreprise concernaient des femmes^[25],[26].

« Les hommes à la peau claire sont surreprésentés [dans les bases de données des exemples], et aussi les personnes à la peau claire de manière générale, utilisées par les systèmes de reconnaissance faciale^[27]. » Ces différences peuvent entraîner des erreurs telles que l’identification erronée d’un acheteur en tant que voleur à l’étalage. En 2019, une étude réalisée par le Government Accountability Office des États-Unis sur 189 algorithmes de reconnaissance faciale utilisés dans le milieu commercial a conclu que les hommes blancs avaient le plus faible taux de faux positifs, tandis que celui des femmes noires était près de dix fois supérieur.

Les algorithmes de recommandation peuvent conduire à des résultats biaisés vers certains contenus.

Par exemple, les travaux de rétro-ingénierie sur l'algorithme de recommandation de YouTube mené par Guillaume Chaslot et l'association Algotransparency montrent que l'algorithme a tendance à favoriser les contenus à caractère complotistes^[28].

En 2016, l'agent conversationnel Tay développé par Microsoft et déployé sur Twitter a dû être retiré après 24 heures à la suite de la tenue de propos à caractère raciste^[29].

Dans certains états américains, la justice des libertés et de la détention appuie ses décisions de libération anticipée des détenus, sur des algorithmes d'évaluation du risque ; on appelle cela la justice prédictive. En 2016, une enquête de l'ONG ProPublica a mis en évidence que l'algorithme de la société Northpointe, bien que ses concepteurs affirment ne pas prendre directement en compte la race, avait un biais raciste^[30],[31].

Il existe plusieurs possibilités pour lutter contre le biais algorithmique. Selon TechCrunch, il faudrait créer des bases de données partagées et règlementées qui empêcheraient les individus de manipuler les données^{[réf. nécessaire]}. En effet, en admettant que « l'intelligence coïncide avec l'absence de préjugés »^{[réf. nécessaire]}, les algorithmes ne sont pas encore assez intelligents, donc exempts de préjugés, pour se corriger eux-mêmes. En attendant qu'ils en soient capables, il faut donc que des humains, conscients de ce qu'est un préjugé, les contrôlent afin d'éviter qu'ils n'aggravent les biais potentiellement déjà présents dans les données avec lesquelles ils sont entraînés^[32].

L’une des principales difficultés de la lutte contre le biais algorithmique est l’opacité du fonctionnement des algorithmes^[33]. Cette opacité peut avoir quatre origines^[34] ; le secret intentionnellement mis en place par les entreprises qui veulent protéger leur propriété intellectuelle, l’inculture des utilisateurs et des chercheurs, mais aussi le fait qu'avec leur évolution au cours du temps certains algorithmes deviennent illisibles du fait de leur complexité et enfin le gigantisme de certains algorithmes, notamment ceux des grands services en lignes^[35]. Si certains chercheurs ont essayé de développer des méthodes pour améliorer la transparence^[36], d’autres, comme Shoshana Zuboff et Ruha Benjamin, affirment que les algorithmes ne peuvent pas être approchés comme des objets isolés, mais plutôt comme faisant partie de grands assemblages culturels et socio-techniques^[37].

Pour documenter les biais algorithmiques, il faut pouvoir les auditer. Pour cela, Angwin et al. 2016 ont collecté des données et développé leur propre modèle pour être en mesure de mettre en évidence, le biais de l'algorithme d'évaluation des risques de récidive^[31].

D'après la sociologue Angèle Christin, il existe, avec les audits, deux autres façons d’aborder le problème du biais algorithmique^[38]. La première est l’approche historique et culturelle. Elle consiste en une reconsidération des évènements de biais algorithmique dans des séquences plus longues en s’appuyant sur la sociologie critique. Les algorithmes reproduiraient des structures préexistantes de discrimination^[39], surveillance^[40] et de marchandisation^[41]. La seconde est l’approche ethnographique. Elle permet d’un coté de déterminer quelles forces structurelles permettent l’émergence de biais et de l’autre côté, considérer comment les algorithmes sont influencés par leurs usages quotidiens. Angèle Christin propose trois méthodes dans le cadre de cette approche pour étudier les algorithmes. Algorithmic refraction consiste en l’examen des reconfigurations qui ont lieu pendant l’usage des algorithmes et leur interaction avec le public et les institutions ; algorithmic comparaison est l’analyse de différents usages d’un même algorithme dans différents domaines pour comprendre l’émergence de biais dans les différences d’applications et de fonctionnement ; enfin, algorithmic triangulation repose sur l’usage d’algorithmes secondaires pour recueillir des données sur l’algorithme étudié.

Les États-Unis n'ont pas de législation d'ensemble qui régule les biais algorithmiques. Le traitement de cette question peut se faire à l'échelle fédérale ou à l'échelle d'un état, et varie selon les secteurs, selon l'utilisation qui en est faite et selon l'industrie ou l'administration concernée. En 2017, la ville de New York a voté une loi instituant une commission contrôlant l'utilisation des algorithmes dans la ville^[42].

L’Union européenne a plusieurs normes éthiques sur l’utilisation de l’intelligence artificielle. Le règlement sur l'intelligence artificielle (AI Act), publié le 12 juillet 2024^[43], intègre la prévention des biais algorithmiques pouvant altérer l’équité des décisions judiciaires et protège les droits fondamentaux.

Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue ! Comment faire ?

Dans une tribune publiée sur le site de la revue Data & Society, la chercheuse Kinjal Dave critique l'usage du terme biais pour désigner les préjudices des algorithmes. Selon elle, le terme de biais issu de la psychologie sociale renvoie à une imperfection de l'individu alors que les algorithmes constitueraient selon elle des forces institutionnelles^[44].

D'Ignazio et Klein 2020 reprennent aussi cette critique. Pour elles, parler de biais algorithmique et laisser croire que l'on pourrait corriger ces biais relèverait de la diversion. Plutôt que de parler de biais, elles préfèrent parler d'oppression^[31].

• Michael Rovatsos, Brent Mittelstadt et Ansgar Koene, Landscape summary: bias in algorithmic decision-making, Centre for Data Ethics and Innovation, pdf, 2019
• Algorithme, contrôle des biais S. V. P., rapport de l'Institut Montaigne, Mars 2020, lire en ligne

• 2020 : Coded bias réalisé par Shalini Kantayya^[45]

• Apprentissage automatique
• Biais d'automatisation
• Correction d'un algorithme
• Éthique de l'intelligence artificielle
• Égalisation des chances (informatique)
• Reconnaissance faciale
• Règlement sur l'intelligence artificielle (Union européenne)
• Vidéo surveillance

• Portail des probabilités et de la statistique
• Portail de l’intelligence artificielle
• Portail de l’informatique
• Portail de la sociologie
• Portail de la psychologie
• Portail du droit
• Portail des droits de l’homme