VOIX OFF : "Pour comprendre les effets [des] algorithmes [pour publicités ciblées], des chercheurs tatillons de l'Université de Boston (1) ont conçu de fausses annonces et les ont diffusées via la plateforme publicitaire de facebook. Résultats : une publicité pour un album de country est recommandée à 80 % à des Blancs alors qu'un album de hip-hop est recommandé à 85 % à des Noirs. Idem pour les annonces d'emplois concoctées par les chercheurs : devenir bûcheron est proposé à 90 % à des hommes ; tenir la caisse d'un supermarché à 85 % à des femmes ; tandis que les offres de chauffeurs de taxi sont adressées à 75 % à des Afro-Américains."
"Les outils d'analyse psycho-sociologique de la publicité ciblée déniche nos comportements stéréotypés pour mieux les exploiter et donc les renforcer. Or ce sont ces mêmes outils qui sont à la base des systèmes qui analysent nos comportements pour orienter nos décisions collectives et nos choix intimes, comme les applications de rencontres qui nous recommandent les partenaires qui auraient le plus de chance de correspondre à notre profil, les logiciels qui aident les banquiers et les assureurs à dénicher le genre de personnes qui seraient le plus susceptibles à rembourser leur(s) prêt(s), ou encore le système Predpol (2) qui cible les actions des forces de l'ordre sur les lieux où les délinquants auraient la plus forte probabilité de commettre leur(s) délit(s)."
"Qu'il s'agisse de nous recommander une paire de basket ou de prédire un crime, ces systèmes tirent des généralités à partir des données sur lesquelles ils ont été entraînés."
FRANCOIS CHOLLET (3) : "Y'a toujours des biais dans ces systèmes, et alors, en particulier, il peut être biaisé parce qu'il va avoir absorbé l'information contenue dans ces données d'entraînement, et ces données d'entraînement pourraient être biaisés."
"Vous pouvez considérer, par exemple, un système qui va regarder des vidéos de vidéosurveillance et qui va chercher à déterminer : est-ce que tel ou tel individu est suspect ? Eh bien pour créer ce système, vous allez commencer à demander à Mr Dupont d'annoter des vidéos de vidéosurveillance pour dire : est-ce que c'est un éventuel suspect ou pas ? Alors quand vous faites ça, bien sûr, le jugement de Mr Dupont, c'est le jugement de Mr Dupont. C'est un jugement qui est potentiellement biaisé et, tant que c'est Mr. Dupont qui le dit, ben vous avez conscience que c'est son point de vue et que potentiellement y'a du biais. Mais une fois que vous entraînez un système de deep learning dessus, eh ben, le système contiendra toujours les mêmes biais, mais vous ne saurez plus qu'ils sont présents."
YOSHUA BENGIO (4) : "Le contexte social, le contexte psychologique, le contexte moral, c'est sûr et certain que, aujourd'hui et dans les prochaines années, on aura pas d'ordinateurs qui vont comprendre ça."
"A partir du moment où ces systèmes il leur manque ce jugement, ils vont prendre des décisions, mais sur la base de quoi ? Sur la base d'indices statistiques justement, et là on est presque sûr, et y'a des études qui montrent que, ben en fait, ça mène à des discriminations, des discriminations raciales, des discriminations de genre..."
VOIX OFF : "Dans une dizaine d'Etats américains, le logiciel Northpointe (5) informe les juges pendant l'audience des risques de récidive des prévenus. [...] ce système d'apprentissage a été entraîné sur une base de données répertoriées par la police de la délinquence."
"Il y aurait 137 critères selon une formule tenue secrète et ne livre son verdict que sous la forme d'une note synthétique."
"Des journalistes scrupuleux de l'agence ProPublica (6) ont obtenu les scores Northpointe de 7000 personnes et ont comparé les prévisions du logiciel avec ce qui est effectivement advenu dans les années suivantes. Seul 20 % des prévisions decrimes graves se sont révélés exacts. Surtout, selon les journalistes, dans le cas des individus noirs, les prévisions de récidive se sont avérées bien plus élevées que ce qui s'est finalement produit, alors qu'elles ont été minorées pour les Blancs."
MEREDITH WHITTAKER (7) : "Si le système judiciaire est raciste, comme aux Etats-Unis et un peu partout dans le monde, alors il y aura des biais racistes dans les données."
FRANCOIS CHOLLET (8) : "La machine c'est, au final, une approximation [...] des jugements de l'humain. C'est en quelque sorte un système de blanchiment du biais, au même sens qu'on peut faire du blanchiment d'argent."
in Autopsie d'une intelligence artificielle, documentaire de Jean-Christophe Ribot (France, 2022, 1h00mn) (9).
NOTES JMS :
(1) Cf. not. : https://en.wikipedia.org/wiki/Boston_University ; https://fr.wikipedia.org/wiki/Université_de_Boston
(2) Cf. not. : https://fr.wikipedia.org/wiki/Prévision_policière ; https://en.wikipedia.org/wiki/Geolitica ;
https://www.cairn.info/revue-reseaux-2018-5-page-221.htm ; https://hitek.fr/actualite/predpol-logiciel-prevention-crime_693 ;
https://korii.slate.fr/tech/logiciel-prediction-crimes-service-police-pl... ;
https://www.01net.com/actualites/police-predictive-ce-logiciel-narrivait...
et https://www.radiofrance.fr/franceculture/podcasts/le-meilleur-des-mondes...
(3) Cf. not. : https://fr.wikipedia.org/wiki/François_Chollet
(4) Cf. not. : https://fr.wikipedia.org/wiki/Yoshua_Bengio
(5) Cf. not. : https://en.wikipedia.org/wiki/COMPAS_(software)
(6) Cf. not. : https://en.wikipedia.org/wiki/ProPublica ; https://fr.wikipedia.org/wiki/ProPublica
et https://blogs.mediapart.fr/edition/propublica et https://www.propublica.org ;
cf. également : https://gijn.org/fr/histoires/disclose-le-prepare-son-lancement
(7) Cf. not. : https://en.wikipedia.org/wiki/Meredith_Whittaker et https://fr.wikipedia.org/wiki/Meredith_Whittaker
(8) Cf. note 3.
(9) Cf. not. : https://www.film-documentaire.fr/4DACTION/w_fiche_film/64252_0
et https://www.film-documentaire.fr/4DACTION/w_liste_generique/C_66966_F