Biais et discriminations algorithmiques : Les systèmes d’IA sont entraînés sur des données du monde réel, qui peuvent contenir les biais (racistes, sexistes, sociaux) de nos sociétés. Résultat, des IA de décision ont reproduit ou amplifié ces biais. Un cas emblématique est celui de la reconnaissance faciale : plusieurs études ont montré que les algorithmes commerciaux identifient moins bien les visages de personnes non blanches ou de femmes (car souvent entraînés sur des photos d’hommes blancs). Cela a conduit à des erreurs dramatiques lorsqu’ils sont utilisés par la police. Aux États-Unis, au moins huit personnes innocentes ont été arrêtées à tort sur la base de faux “matches” de reconnaissance faciale fournis par une IA[52][53]. Dans ces affaires, les enquêteurs, trop confiants dans le logiciel, n’ont même pas vérifié d’éléments basiques (alibis, empreintes digitales) avant d’arrêter le suspect[54][55]. Par exemple, Robert Williams, un Afro-Américain du Michigan, a été incarcéré deux jours en 2020 parce qu’un algorithme l’avait “reconnu” sur l’image floue d’un voleur – alors qu’il n’avait aucun lien avec le crime. Ces erreurs touchent quasi exclusivement des personnes noires, prouvant le biais racial de ces outils et leurs conséquences bien réelles sur des vies humaines. De même, des logiciels de profilage criminel (prédiction policière) orientent souvent la surveillance vers des quartiers pauvres ou minoritaires, car ils se basent sur des données historiques de criminalité déjà biaisées par des pratiques policières discriminatoires. On voit là un cercle vicieux : l’IA renforce les inégalités au lieu de les corriger.
Un autre exemple frappant est le scandale des faux positifs de fraude sociale. Aux Pays-Bas, de 2013 à 2019, l’administration fiscale a utilisé un algorithme pour détecter les fraudeurs aux aides sociales. Ce système auto-apprenant a fini par cibler des dizaines de milliers de familles, souvent sur des critères discutables comme la double nationalité ou des erreurs de formulaire minimes. Des parents se sont vu à tort accusés de fraude et sommés de rembourser des sommes colossales, les plongeant dans la misère. « Les autorités ont pénalisé des familles sur de simples suspicions générées par l’algorithme (...). Des dizaines de milliers de foyers – souvent modestes ou issus de minorités – ont été poussés dans la pauvreté sous le poids de dettes exorbitantes envers le fisc. Certains parents se sont suicidés et plus d’un millier d’enfants ont été placés en foyers d’accueil »[56] (traduction). Cette affaire des allocations (toeslagenaffaire) a été un électrochoc : elle a révélé comment l’IA mal encadrée peut conduire un gouvernement à briser des vies, en particulier celles des plus vulnérables, sans même qu’un être humain n’intervienne pour corriger l’erreur. Ici, l’algorithme opérait comme un juge impitoyable, et il a fallu des années avant que l’injustice soit admise (le gouvernement néerlandais a dû démissionner en 2021 suite à ce scandale).
Automatisation coercitive au travail : Dans le domaine du travail, certaines entreprises ont poussé très loin l’automatisation de la gestion du personnel, au point de confier à des IA le soin de surveiller et même de licencier les employés. Le cas d’Amazon est souvent cité comme un exemple de management algorithmique dystopique. Dans ses gigantesques entrepôts, Amazon utilise un système nommé ADAPT qui trace en temps réel la productivité de chaque préparateur de colis. Si le rythme d’un employé ralentit en deçà de l’objectif (nombre de colis à l’heure), le logiciel lui envoie automatiquement des avertissements, et peut aller jusqu’à générer sa lettre de licenciement sans qu’aucun supérieur humain n’ait validé la décision. Comme le résume un rapport : « Le système d’Amazon suit les cadences individuelles et génère automatiquement avertissements et licenciements en cas de rendement insuffisant, sans intervention de superviseurs »[57][58]. La direction prétend que les managers peuvent annuler une décision, mais en pratique des centaines de salariés ont été renvoyés par “le robot” pour ne pas avoir tenu la cadence[59][58]. Des employés décrivent un environnement où « ils sont surveillés et encadrés par des robots »[58], contraints de renoncer aux pauses toilettes de peur que le compteur de “temps hors poste” ne les pénalise[60]. Cette gestion déshumanisée, uniquement pilotée par les chiffres, évoque un cauchemar taylorien moderne où l’algorithme tient le rôle du contremaître absolu. L’impact psychologique et physique sur les travailleurs est lourd (stress permanent, accidents en hausse). La coercition par l’automatisation s’observe aussi dans les plateformes de livraison ou VTC : des chauffeurs d’Uber ou livreurs de Deliveroo ont raconté comment ils ont été “déconnectés” (bannis de l’application, donc privés de travail) après des décisions d’IA opaques, parfois suite à de fausses plaintes clients que personne n’a investiguées. Se retrouver “licencié par email d’un robot” est devenu une réalité pour certains travailleurs précaires du gig economy[61][58].
Décisions sans recours humain : Le point commun de ces dérives est que les décisions sont prises par des algorithmes quasi insensibles au contexte, et qu’il est très difficile pour l’individu affecté d’obtenir une explication ou une correction par un être humain. Cette absence de recours ou de transparence heurte le principe d’État de droit (droit à un procès équitable, à comprendre les motifs d’une décision). Lorsque l’IA attribue une note de crédit, refuse un prêt, classe une candidature à l’emploi ou signale un comportement à la police, sur quelle base se défendre si l’on s’estime lésé ? Souvent, ni l’utilisateur ni même l’autorité qui utilise l’IA ne comprennent complètement comment l’algorithme est parvenu à sa conclusion (c’est le problème de la “boîte noire” des modèles complexes). Cette opacité algorithmique peut cacher des injustices. On l’a vu avec des systèmes utilisés pour des prestations sociales ou l’immigration – par exemple un algorithme britannique pour attribuer des visas a été suspendu en 2020 car il discriminait les demandeurs selon leur nationalité (jugée “risquée” ou non), pratique illégale que personne n’avait initialement détectée.
Par ailleurs, on commence à voir apparaître des outils de “justice prédictive” : certains tribunaux aux États-Unis ont expérimenté des logiciels (tels que COMPAS) aidant à évaluer le risque de récidive des prévenus pour orienter les décisions de libération conditionnelle. Or, il a été prouvé que COMPAS avait tendance à donner des scores de risque plus élevés aux accusés noirs qu’aux blancs à gravité de délit égale[62]. Si les juges s’en remettent aveuglément à de tels scores biaisés, ils risquent de pérenniser les biais raciaux du système pénal. De plus, le prévenu qui se voit refuser une remise en liberté sur recommandation d’un algorithme aura bien du mal à contester, faute de connaître les critères exacts ayant mené au score. Cette situation interroge : peut-on accepter qu’une machine influence la privation de liberté d’une personne sans transparence ni possibilité de contradiction ? Dans une vision dystopique extrême, on pourrait imaginer un futur proche où “l’ordinateur dit coupable” et l’humain s’exécute sans poser de questions.
Des garde-fous en discussion : Face à ces risques, des contre-mesures commencent à émerger. L’Union européenne, par exemple, travaille sur un Règlement sur l’IA (AI Act) qui viserait à interdire certaines applications (comme le “scoring” social à la chinoise ou la surveillance biométrique de masse) et à imposer des obligations de transparence et de supervision humaine pour les IA “à haut risque” (par exemple celles utilisées dans la justice, la police, les infrastructures critiques). Plusieurs villes ou États ont légiféré pour freiner l’usage policier de la reconnaissance faciale (San Francisco l’a bannie dès 2019, d’autres villes ont suivi). Des principes éthiques, sans être contraignants, ont été adoptés par des entreprises ou des gouvernements (comme l’obligation d’un « contrôle humain approprié » sur toute décision algorithmique affectant une vie, prônée par le Conseil de l’Europe). Néanmoins, l’adoption de l’IA dans la gouvernance et l’économie va plus vite que la régulation. La tentation d’utiliser l’IA pour tout optimiser peut l’emporter sur la prudence. Il faudra donc rester vigilant à ce que l’humain ne soit pas dépossédé de son autonomie et de ses droits par une délégation irréfléchie aux machines. La dystopie de l’IA n’est pas un robot tueur conscient, mais plutôt un ensemble d’algorithmes diffus qui, insidieusement, nous enferment dans des cases numériques et prennent des décisions nous concernant sans que nous puissions les discuter. Éviter ce futur passe par l’exigence de transparence, de redevabilité (accountability) et de maintien d’un jugement humain ultime sur les enjeux cruciaux.