Sous la pression du mouvement Black Lives Matter, qui soulève des questions cruciales sur la relation entre surveillance et racisme aux États-Unis et ailleurs, la société IBM a annoncé qu’elle renoncerait au marché de la reconnaissance faciale. Cela marquera-t-il un tournant dans l’exploitation sécuritaire de technologies qui présentent de nombreux défauts ?
L’information est presque passée inaperçue.
D’un côté de l’actualité, la crise sanitaire du COVID-19 gérée dans la confusion. De l’autre, les explosions de colère engendrées par des violences policières ahurissantes, ravivant le mouvement Black Lives Matter autour du monde. Entre les deux, IBM déclarait le 8 juin sa décision d’abandonner le marché de la reconnaissance faciale [en], poussée par les actions militantes à respecter sa charte éthique.
« La technologie peut accroître la transparence et aider la police à protéger les communautés mais ne doit pas promouvoir la discrimination ou l’injustice raciale. » annonçait notamment Arving Krishna, CEO de la firme.
L’annonce a suscité peu de réactions, hormis chez certains analystes politico-économiques [en], technophiles, ou militants. Elle pourrait pourtant annoncer des changements majeurs dans l’influence qu’exercent les technologies sur nos vies.
Une technologie controversée
La reconnaissance faciale permet d’identifier des personnes sur des photos ou vidéos, de manière automatisée. Pour y parvenir, elle s’appuie sur deux piliers : une banque d’images de référence, préenregistrées, et une grande puissance de calcul. Deux domaines qui ont connu des progrès phénoménaux dernièrement, grâce aux innovations réalisées respectivement dans la Big Data [en] et l’intelligence artificielle [en] (IA). Déployer la reconnaissance faciale à grande échelle est donc devenu possible.
Depuis plusieurs années, les exemples se multiplient à travers le monde. Dès février 2005, la police municipale de Los Angeles [en] utilisait un système développé par General Electric et Hamilton Pacific. Une pratique qui s’est généralisée depuis, et accélérée. En 2019, la Chine [en] comptait 200 millions de caméras de vidéosurveillance sur son sol. Un réseau plus dense encore se préparerait en Russie [en]. Sans compter les initiatives de villes comme Nice qui la teste actuellement, ou Londres [en], où des caméras analysent les visages des passants (sans les prévenir) dans le but de localiser les personnes recherchées.
Les autorités justifient cette surveillance automatisée par des impératifs sécuritaires : fin 2016, Interpol déclarait avoir identifié «plus de 650 malfaiteurs, fugitifs, personnes d’intérêt ou personnes disparues […] ». Il s’agit en somme de lutter contre la délinquance, le terrorisme, ou plus récemment la propagation du coronavirus [en].
Mais comme d’autres avancées technologiques, la reconnaissance faciale est une arme à double-tranchant. Les progrès qu’elle apporte s’accompagnent de menaces, notamment sur les libertés humaines.
Plusieurs associations de défenseurs des droits numériques alertent l’opinion publique sur les dérives potentielles. Parmi elles, l’Electronic Frontier Foundation (EFF [en]) ou La Quadrature du Net. Cette dernière coordonne la campagne Technopolice, une initiative qui recense et dénonce les projets de surveillance automatisée en France, et qui appelle à une résistance systématique.
Fiabilité relative
Le danger le plus évident de la reconnaissance faciale vient de sa méthode d’apprentissage, un entraînement basé sur des échantillons de données : les training data sets. S’ils sont incomplets ou manquent de pertinence, votre outil tirera de mauvaises interprétations. On appelle cela un biais d’apprentissage.
Une démonstration saisissante de ce biais a été partagée récemment : le 19 juin, une IA démontrait sa capacité à reconstruire un portrait à partir d’une source pixelisée, une prouesse digne des séries télévisées policières. Des utilisateurs l’ont rapidement testée, et ont obtenu des résultats parfois aberrants, qu’ils ont publiés. Des échecs significativement plus nombreux sur les sujets afro-américains ou d’origine hispanique, comme… Barack Obama et Alexandria Ocasio-Cortez ! Le data set, qui contenait presque uniquement des portraits de personnes blanches, avait orienté les reconstructions vers des profil-types qu’il calculait, à tort, les plus probables.
Cette photo d’un Barack Obama blanc représente tout le problème du biais racial de l’IA https://t.co/88Sl9H0lEp [en]
Si vous utilisez l’IA pour identifier des personnes sur des images plutôt que pour les améliorer, le traitement d’analyse aura probablement un biais semblable, comme l’explique cet article:
Imaginons que vous décidiez d’évaluer la dangerosité, le risque de criminalité d’une personne, à partir de paramètres tels que l’âge, le lieu de résidence, la couleur de peau, le diplôme le plus élevé… et que pour entraîner votre logiciel, vous utilisiez les données fournies par les centres de détention, les prisons.
Alors il est fort probable que votre logiciel minimise fortement les risques pour les personnes blanches et l’augmente pour les autres.
Les faits parlent d’eux-mêmes. À Londres la reconnaissance faciale en temps réel affiche un taux d’erreur de 81% ; à Détroit, un homme afro-américain a témoigné [en]après avoir été arrêté à tort à cause d’une identification défaillante…
Une légitimité remise en cause
Non seulement le système est faillible, mais il aggrave les discriminations [en], comme le confirmait une enquête du site d’investigation ProPublica dès 2016.
Google Photos qui étiquetait comme des « gorilles » deux Afro-Américains […] un outil d’aide au recrutement utilisé par Amazon et défavorisant les femmes
Source : « IA : la reconnaissance faciale est-elle raciste ? » Orange Digital Society Forum
Pour les services de police, souvent pointés du doigt en matière de discriminations, la reconnaissance faciale est un élément supplémentaire hautement inflammable.
La mort de Georges Floyd dans une affaire de violence policière, le 25 mai à Minneapolis, a déclenché de nombreuses manifestations aux États-Unis d’abord, puis à travers le monde. Elles dénonçaient initialement les discriminations visant les minorités ethniques. Mais une incroyable escalade de violence a amené les manifestants à réclamer la démilitarisation des forces de l’ordre, scandant le slogan « Defund the police ». Par extension, les outils de surveillance généralisée ont aussi été remis en question, ainsi que les entreprises privées qui les fournissent.
Mise sous pression par les militants du mouvement Black Lives Matter [en], la société IBM a donc annoncé son retrait (relatif) du marché de la reconnaissance faciale.
Ce n’est pas un hasard si Big Blue a réagi la première. L’entreprise a une longue histoire, parfois honteuse, qu’elle a du apprendre à assumer. Dès 1934, elle collaborait avec le régime nazi par l’intermédiaire de sa filiale allemande. Beaucoup plus tard en 2013, elle était impliquée dans l’affaire du programme de surveillance PRISM, mis en lumière par le lanceur d’alerte Edward Snowden. Peut-être pour cette raison, elle a pu prendre la mesure de son rôle dans le conflit actuel, entre un état sécuritaire et des militants des droits humains. Bien sûr, on peut évoquer un argument beaucoup plus rationnel dans la stratégie d’IBM, désireuse de se protéger d’éventuelles procédures judiciaires et de leur coût financier.
Néanmoins, la réorientation de son activité est bien réelle, et elle a initié une dynamique suivie par d’autres de ces géants. Microsoft déclarait le 12 juin qu’elle refuserait de vendre sa solution aux services de police ; Amazon, sous la pression sociale [en], a fini par décréter un moratoire [en] sur son outil Rekognition.
Un premier pas dans une démarche de réformes ?
La nécessité d’un cadre législatif est devenue une évidence. Dans sa déclaration, Arvind Krishna, CEO d’IBM, réclamait au Congrès américain de « démarrer un dialogue national pour savoir si, et comment, les technologies de reconnaissance faciales devaient être utilisées par les forces de l’ordre. »
Cet appel a été entendu. Des membres du Congrès ont proposé, le 25 juin, un projet de loi [en] interdisant l’utilisation de la reconnaissance faciale par la police. La veille déjà, l’interdiction était entérinée dans la ville de Boston [en] par le Conseil municipal.
Ce n’est sans doute que le début d’un long combat politique et juridique, pour encadrer l’utilisation de la reconnaissance faciale dans une démarche respectueuse des citoyens. Mais pour la première fois, les mouvements de défense des droits humains semblent en mesure d’influencer les entreprises de la Big Tech et des pouvoirs politiques, afin de tendre conjointement vers une technologie profitable à tous.