Algocratie : L'inégalité programmée (EP.84)

De Wiki Datagueule
Aller à la navigation Aller à la recherche
Informations techniques
Saison 7
Episode 84
Date de sortie 14/12/2018
Durée 11:07

Ils sont partout autour de nous et pourtant on s'arrête rarement pour les regarder vraiment : les algorithmes. Puissants outils de calcul, ces lignes de code sont aujourd'hui principalement utilisées pour tenter d'optimiser le monde qui nous entoure. Mais que produit cette optimisation ? Quels sont ses effets sur notre perception de la réalité quand il s'agit de trier des infos ? Et que produisent les algorithmes quand ils deviennent des leviers de décisions incontestables ? Prenons le temps de creuser un peu le sujet car, de plus en plus, les algos rythmes nos vies.

Soline Ledésert est journaliste et webdesigneuse à l'Icij. Elle collabore au projet Algotransparency et au serment d'Hippocrate des datascientists.

>

Script

À trop construire le futur sur le passé, on fini par oublier le présent. Bonjour !

Algorithme. Nom masculin, issu du patronyme du mathématicien perse Al-Khwarizmi, né il y a plus de 1200 ans, du côté de l'actuel Ouzbékistan. Définition : _« Suite finie et non ambiguë d’opérations ou d'instructions permettant de résoudre un problème ou d'obtenir un résultat »_. Bref, notre cerveau utilise des algorithmes à chaque instant et depuis des millénaires. Prenons une recette de cuisine. Vous avez d'un côté les ingrédients, une liste d'instructions qui vous permet de réaliser votre plat préféré. Et si le résultat est bon, alors c'est que l'algorithme - ici, la recette - est efficace.

Sortons maintenant de notre cerveau en chairs et en neurones pour entrer dans celui - en cuivre et silicium - des machines. Ces dernières décennies, la croissance des capacités de calcul informatique et à l'explosion des flux de données numérisées - coucou Big Data - ont permis de développer tout pleins d'algorithmes. Certains s'avèrent très utiles.

En janvier 2018, la FDA, l'agence du médicament américaine, a autorisé l'utilisation en milieu hospitalier de l'algorithme Wave Clinical Platform. Il analyse en temps réel les constantes vitales d'un ou d'une malade, en surveille des variations infimes et les recoupe avec ses antécédents médicaux et familiaux. Il peut ainsi détecter jusqu'à 6 heures en amont l'imminence d'une crise cardiaque ou d'une insuffisance respiratoire mortelles. Merci l'algo !

L'un des éléments clés d'un algorithme est la définition de son "succès" par celles et ceux qui le code. Pour Wave Clinical Plateform par exemple, c'est la survie du patient. Classe. Mais prenons, au hasard, l'algorithme qui gère la liste des vidéos "À suivre" sur YouTube. Vous savez, la colonne juste là, à droite. Son objectif est simple : vous garder le plus longtemps possible pour vous montrer le plus de publicités. Or, cet objectif peut mener à quelques biais.

D'après une étude menée par Algotransparency, sur les trois mois qui ont précédé les dernières élections présidentielles américaines, pour des recherches sur les termes "trump" ou "clinton", l'algorithme de Youtube aurait recommandé six fois plus de vidéos en faveur de Donald Trump que d'Hilary Clinton. Évidemment, rien d'intentionnel là-dedans. L'algorithme a simplement détecté que les vidéos pro-Trump, plus sensationnelles et radicales, permettaient de garder les audiences plus longtemps sur le site : sa fameuse variable "succès".

Autre élément essentiel d'un algorithme : les données qui permettent de l'entrainer. Demandons à Google de traduire en français le nom neutre anglais "doctor". La réponse est : un docteur. Masculin par défaut. Pour avoir "une doctoresse", il faut écrire "female doctor". À l'inverse, "nurse", lui aussi neutre en anglais, est traduit par "infirmière". Pour avoir "infirmier" vous devrez préciser "male nurse". Pourquoi ? Parce que l'algorithme de Google se base sur l'analyse de millions de textes venus de notre passé, là où les docteurs étaient principalement des hommes et les infirmières des femmes.

Mécaniquement, il transforme donc ce passé en présent éternel.

En 2015, des chercheurs et chercheuses de l'université de Carnegie-Mellon simulent lesvisites de 1000 utilisateurs - 500 hommes, 500 femmes - sur les 100 plus gros sites d’offres d’emploi. Devinez quoi ? Les profils masculins se voient proposer des emplois à haut salaire 1800 fois contre 300 fois pour les profils féminins. Oups. Là encore, lesalgorithmes enracinent dans le présent les inégalités du passé.

Et ça peut devenir dangereux.

Prenons le terrorisme. Ici les flux de données sont analysés avec le secret espoir de détecter une dangereuse aiguille dans une angélique botte de foin. Sauf qu'il n'y a pas de profil type pour un terroriste et une micro-erreur peut vite coûter cher. Imaginons un algorithme qui ne génère qu'1% de faux-positif. Sur 60 millions de personnes, ça fait quand même 600.000 citoyens et citoyennes suspectés à tort. Au Pakistan, la NSA utilise l'algorithme Skynet pour identifier des terroristes potentiels à partir des données mobiles. Les noms identifiés sont ensuite inscrits sur une "kill list" soumise à l'État Major et au président américain. Mieux vaut ne pas faire partie des "faux ositifs".

Aujourd'hui, de nombreux crédits sont soumis à la validation d'un algorithme enfermant les plus pauvres leur pauvreté. Dans certains tribunaux américains, avant une remise en liberté, les risques de récidives sont aussi évalués par des algorithmes. Là encore les biais et les clichés des années passées sont confortées par les algorithmes.

Omniprésents et souvent cachés derrière le secret industriel, il est aujourd'hui essentiel de questionner les algos. Car il est possible de les entrainer avec des flots de données différents et de leur fixer d'autres objectifs autres que la rentabilité ou l'optimisation permanente. En France, la Caisse d'Allocations Familliale travaille sur un algorithme permettant de repérer les ménages ayant droits à des aides mais qui n'en font pas la demande. Il doit être déployé en 2019.

Qui a dit que l'égalité ne pouvait pas être codée ?

Sources

Année de publication Auteur·e Titre Titre de la publication ISBN Url Langue
2018 Noble, Safiya Umoja Social Inequality Will Not Be Solved By an App Wired NA https://www.wired.com/story/social-inequality-will-not-be-solved-by-an-app/ NA
NA NA Google Has a Striking History of Bias Against Black Girls Time NA http://time.com/5209144/google-search-engine-algorithm-bias-racism/ en
2018 NA Safiya Umoja Noble : «Avec Google, nous utilisons des technologies qui censurent, mais nous ne voulons pas le voir» Libération.fr NA https://www.liberation.fr/debats/2018/11/02/safiya-umoja-noble-avec-google-nous-utilisons-des-technologies-qui-censurent-mais-nous-ne-voulons-pa_1689541 fr
2018 NA <i>Algorithms of Oppression</i> Wikipedia NA https://en.wikipedia.org/w/index.php?title=Algorithms_of_Oppression&oldid=864243388 en
NA NA Algorithmes prédictifs, la nouvelle boule de cristal France Culture NA https://www.franceculture.fr/emissions/la-methode-scientifique/la-methode-scientifique-du-mercredi-27-juin-2018 fr
NA NA Un algorithme qui prédit la mort de certains patients à l'hôpital autorisé aux Etats-Unis Sciences et Avenir NA https://www.sciencesetavenir.fr/sante/e-sante/un-algorithme-qui-predit-la-mort-de-certains-patients-a-l-hopital-autorise-aux-etats-unis_120400 fr
NA NA Un algorithme plus fiable que l'humain pour deviner l'orientation sexuelle, vraiment ? Sciences et Avenir NA https://www.sciencesetavenir.fr/high-tech/intelligence-artificielle/un-algorithme-plus-fiable-que-l-humain-pour-deviner-l-orientation-sexuelle-des-gens-vraiment_116423 fr
NA NA Mon avocat est un algorithme NA NA https://usbeketrica.com/article/mon-avocat-est-un-algorithme NA
2014 NA Report: artificial intelligence will cause "structural collapse" of law firms by 2030 Legal Futures NA https://www.legalfutures.co.uk/latest-news/report-ai-will-transform-legal-world en-GB
NA NA La justice à l’heure des algorithmes et du big data CNRS Le journal NA https://lejournal.cnrs.fr/articles/la-justice-a-lheure-des-algorithmes-et-du-big-data fr
NA NA Peut-on faire confiance à l'intelligence artificielle ? CNRS Le journal NA https://lejournal.cnrs.fr/articles/peut-faire-confiance-a-lintelligence-artificielle fr
2017 Caliskan, Aylin; Bryson, Joanna J.; Narayanan, Arvind Semantics derived automatically from language corpora contain human-like biases Science NA http://science.sciencemag.org/content/356/6334/183 en
NA NA Google Translate's gender bias pairs "he" with "hardworking" and "she" with lazy, and other examples — Quartz NA NA https://qz.com/1141122/google-translates-gender-bias-pairs-he-with-hardworking-and-she-with-lazy-and-other-examples/ NA
2013 Ungerleider, Neal; Ungerleider, Neal Google Translate’s Gender Problem (And Bing Translate’s, And Systran’s…) Fast Company NA https://www.fastcompany.com/3010223/google-translates-gender-problem-and-bing-translates-and-systrans en-US
NA BFMTV Le fisc investit 20 millions d'euros dans du logiciel qui analysera les réseaux sociaux des contribuables BFMTV NA https://www.bfmtv.com/economie/le-fisc-investit-20-millions-d-euros-dans-le-logiciel-qui-analysera-les-reseaux-sociaux-des-contribuables-1569719.html fr
NA NA Arrêté du 28 août 2017 modifiant l'arrêté du 21 février 2014 portant création par la direction générale des finances publiques d'un traitement automatisé de lutte contre la fraude dénommé « ciblage de la fraude et valorisation des requêtes » NA NA NA NA
NA NA Algorithmes, "police fiscale", nom des fraudeurs... Voici les principales mesures du plan anti-fraude de Bercy Challenges NA https://www.challenges.fr/economie/algorithmes-police-fiscale-nom-des-fraudeurs-voici-les-principales-mesures-du-plan-anti-fraude-de-bercy_564628 fr
2018 NA LA POLITIQUE DE CONTRÔLE ET DE PRÉVENTION DES CAF : RÉSULTATS 2017 NA NA https://www.caf.fr/sites/default/files/cnaf/Documents/DCom/Presse/Communiqu%C3%A9s%202018/La_politique_de_contr%C3%B4leet_de_pr%C3%A9vention_des_Caf.pdf NA
2018 Mitchell, Margaret; Wu, Simone; Zaldivar, Andrew; Barnes, Parker; Vasserman, Lucy; Hutchinson, Ben; Spitzer, Elena; Raji, Inioluwa Deborah; Gebru, Timnit Model Cards for Model Reporting arXiv:1810.03993 [cs] NA http://arxiv.org/abs/1810.03993 NA
NA Buolamwini, Joy How I'm fighting bias in algorithms NA NA https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms en
2018 Gebru, Timnit; Morgenstern, Jamie; Vecchione, Briana; Vaughan, Jennifer Wortman; Wallach, Hanna; Daumeé III, Hal; Crawford, Kate Datasheets for Datasets arXiv:1803.09010 [cs] NA http://arxiv.org/abs/1803.09010 NA
2016 Mann, Gideon; O'Neil, Cathy Hiring Algorithms Are Not Neutral Harvard Business Review NA https://hbr.org/2016/12/hiring-algorithms-are-not-neutral NA
NA NA 72% of Resumes are Never Seen by Employers NA NA https://www.accesswire.com/436847/72-of-Resumes-are-Never-Seen-by-Employers NA
2015 Dishman, Lydia; Dishman, Lydia; Dishman, Lydia The Bias You Didn’t Know Existed In Job Ads And Recruiting Software Fast Company NA https://www.fastcompany.com/3051182/the-bias-you-didnt-know-existed-in-job-ads-and-recruiting-software en-US
2016 Schmitt, Églantine Des humains dans la machine : la conception d’un algorithme de classification sémantique au prisme du concept d’objectivité Sciences du Design NA https://www.cairn.info/revue-sciences-du-design-2016-2-page-83.htm?contenu=resume fr
2016 Waddell, Kaveh How Algorithms Can Bring Down Minorities' Credit Scores The Atlantic NA https://www.theatlantic.com/technology/archive/2016/12/how-algorithms-can-bring-down-minorities-credit-scores/509333/ en-US
2016 NA No Credit History? No Problem. Lenders Are Looking at Your Phone Data NA NA https://www.bloomberg.com/news/articles/2016-11-25/no-credit-history-no-problem-lenders-now-peering-at-phone-data en
NA NA Les algorithmes menacent-ils la démocratie? CNRS Le journal NA https://lejournal.cnrs.fr/billets/les-algorithmes-menacent-ils-la-democratie fr
NA NA Police prédictive (1/2) : dépasser la prédiction des banalités ? InternetActu NA http://internetactu.blog.lemonde.fr/2017/09/24/police-predictive-12-depasser-la-prediction-des-banalites/ fr-FR
2018 Juang, Mike New kind of auto insurance can be cheaper, but tracks your every move NA NA https://www.cnbc.com/2018/10/05/new-kind-of-auto-insurance-can-be-cheaper-but-tracks-your-every-move.html NA
NA NA Comment permettre à l’Homme de garder la main ? Rapport sur les enjeux éthiques des algorithmes et de l’intelligence artificielle | CNIL NA NA https://www.cnil.fr/fr/comment-permettre-lhomme-de-garder-la-main-rapport-sur-les-enjeux-ethiques-des-algorithmes-et-de fr
NA NA A quoi rêvent les algorithmes, Dominique Cardon, Sciences humaines - Seuil NA NA http://www.seuil.com/ouvrage/a-quoi-revent-les-algorithmes-dominique-cardon/9782021279962 fr
2008 Anderson, Chris The End of Theory: The Data Deluge Makes the Scientific Method Obsolete Wired NA https://www.wired.com/2008/06/pb-theory/ NA
2018 Lewis, Paul 'Fiction is outperforming reality': how YouTube's algorithm distorts truth The Guardian NA https://www.theguardian.com/technology/2018/feb/02/how-youtubes-algorithm-distorts-truth en-GB
2018 Studio, Nice Shit The Truth About Algorithms | Cathy O&rsquo;Neil NA NA https://vimeo.com/295525907 NA
NA NA False-Positive Card Declines Push Consumers to Abandon Issuers and Merchants | Javelin NA NA https://www.javelinstrategy.com/press-release/false-positive-card-declines-push-consumers-abandon-issuers-and-merchants NA
NA Curley, Christopher Many countries don't use credit scores like the US — here's how they determine your worth Business Insider NA https://www.businessinsider.com/credit-score-around-the-world-2018-8 NA
NA NA China social credit system, punishments and rewards explained - Business Insider NA NA https://www.businessinsider.com/china-social-credit-system-punishments-and-rewards-explained-2018-4 NA
NA NA Une démocratisation du marché ? | Cairn.info NA NA https://www.cairn.info/revue-reseaux-2014-1-page-163.htm NA
2018 NA Circulation : Waze, l’appli qui agace les riverains leparisien.fr NA http://www.leparisien.fr/info-paris-ile-de-france-oise/transports/circulation-waze-l-appli-qui-agace-les-riverains-04-06-2018-7752765.php fr-FR
NA Olson, Parmy Why Google's Waze Is Trading User Data With Local Governments Forbes NA https://www.forbes.com/sites/parmyolson/2014/07/07/why-google-waze-helps-local-governments-track-its-users/ en
2017 Munk, Timme Bisgaard 100,000 false positives for every real terrorist: Why anti-terror algorithms don't work First Monday NA https://firstmonday.org/ojs/index.php/fm/article/view/7126 en
2017 Dayen, David; Papazoglou, Alexis Break Up the Credit-Reporting Racket The New Republic NA https://newrepublic.com/article/144780/break-credit-reporting-racket NA
NA NA Facebook is rating the trustworthiness of its users on a scale from zero to 1 Washington Post NA https://www.washingtonpost.com/technology/2018/08/21/facebook-is-rating-trustworthiness-its-users-scale-zero-one/ en
2013 Ellis, Blake Millions of credit reports have errors CNNMoney NA https://money.cnn.com/2013/02/11/pf/credit-report-errors/index.html NA
2018 Courmont, Antoine Plateforme, big data et recomposition du gouvernement urbain Revue française de sociologie NA https://www.cairn.info/revue-francaise-de-sociologie-2018-3-page-423.htm fr
2018 Biddle, Sam Facebook Uses Artificial Intelligence to Predict Your Future Actions for Advertisers, Says Confidential Document The Intercept NA https://theintercept.com/2018/04/13/facebook-advertising-data-artificial-intelligence-ai/ en-US
2018 Biddle, Sam Facebook Quietly Hid Webpages Bragging of Ability to Influence Elections The Intercept NA https://theintercept.com/2018/03/14/facebook-election-meddling/ en-US
NA NA Sur Spotify, trop de découvertes tue la découverte ? NA NA https://usbeketrica.com/article/sur-spotify-trop-de-decouvertes-tue-la-decouverte NA
2013 Ungerleider, Neal; Ungerleider, Neal Google Translate’s Gender Problem (And Bing Translate’s, And Systran’s…) Fast Company NA https://www.fastcompany.com/3010223/google-translates-gender-problem-and-bing-translates-and-systrans en-US
NA Horsley, Jamie China's Orwellian Social Credit Score Isn't Real Foreign Policy NA https://foreignpolicy.com/2018/11/16/chinas-orwellian-social-credit-score-isnt-real/ en
NA Universalis, Encyclopædia AL-KHWARIZMI Encyclopædia Universalis NA http://www.universalis.fr/encyclopedie/al-khwarizmi/ fr-FR
NA NA algorithme — Wiktionnaire NA NA https://fr.wiktionary.org/wiki/algorithme NA
2018 NA Le logiciel de recrutement d'Amazon qui n'aimait pas les femmes Reuters NA https://fr.reuters.com/article/technologyNews/idFRKCN1MK26B-OFRIN fr
NA https://www.facebook.com/drewharwell Wanted: The ‘perfect babysitter.’ Must pass AI scan for respect and attitude. Washington Post NA https://www.washingtonpost.com/technology/2018/11/16/wanted-perfect-babysitter-must-pass-ai-scan-respect-attitude/ en
2016 Julia Angwin, Jeff Larson Machine Bias ProPublica NA https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing en
NA NA Un algorithme peut-il prédire le risque de récidive des détenus ? NA NA https://usbeketrica.com/article/un-algorithme-peut-il-predire-le-risque-de-recidive-des-detenus NA
NA NA « Algorithmes, la bombe à retardement » : un cri d'alarme citoyen NA NA https://usbeketrica.com/article/comment-les-algorithmes-fragilisent-les-plus-fragiles NA
2018 Weill, Kelly Inside the Flat Earth Conference, Where the World’s Oldest Conspiracy Theory Is Hot Again NA NA https://www.thedailybeast.com/inside-the-flat-earth-conference-where-the-worlds-oldest-conspiracy-theory-is-hot-again en
2018 Team, Access Now Policy The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems Access Now NA https://www.accessnow.org/the-toronto-declaration-protecting-the-rights-to-equality-and-non-discrimination-in-machine-learning-systems/ en
NA NA Big data : l’enjeu est moins la donnée personnelle que la disparition de la personne binaire NA http://binaire.blog.lemonde.fr/2016/01/22/le-sujet-de-droit-au-peril-de-la-gouvernementalite-algorithmique/ fr-FR
2015 Dishman, Lydia; Dishman, Lydia; Dishman, Lydia The Hidden Gender Bias In Google Image Search Fast Company NA https://www.fastcompany.com/3045295/the-hidden-gender-bias-in-google-image-search en-US
2014 Opam, Kwame Amazon plans to ship your packages before you even buy them The Verge NA https://www.theverge.com/2014/1/18/5320636/amazon-plans-to-ship-your-packages-before-you-even-buy-them NA
2014 Citron, Danielle Keats; Pasquale, Frank A. The Scored Society: Due Process for Automated Predictions NA NA https://papers.ssrn.com/abstract=2376209 en
NA Larson, Christina Who needs democracy when you have data? MIT Technology Review NA https://www.technologyreview.com/s/611815/who-needs-democracy-when-you-have-data/ en


Crédits

Crédits
Un programme court proposé par Premières Lignes et Story Circus en coproduction avec France Télévisions.
Écriture et enquête Julien Goetz

Sylvain Lapoix

Réalisé par Henri Poulain
Graphiste et animation Laurent Kinowski

Hugo Guillemard

Sound design Christophe Joly
Mixage Yves Zarka
Produit par Luc Hermann

Hervé Jacquet

Images et montage Juliette Faÿsse
Directeur de production Aurélien Baslé
Musique Cezame Music Agency
Archives Getty Images
France Télévisions Nouvelles Écritures Pierre Block de Friberg

Céline Limorato

Gwenaëlle Signaté

Annick Jakobowicz

Nouvelles écritures et Transmedia Sandrine Miguiran

Vanille Cabaret

Léna Sichez

Avec la participation du Centre National du Cinéma et de l'Image Animée