Algocratie : L'inégalité programmée (EP.84)
| Informations techniques | |||||
|---|---|---|---|---|---|
| Saison | 7 | ||||
| Episode | 83 | ||||
| Date de sortie | 14/12/2018 | ||||
| Durée | 11:07 | ||||
Ils sont partout autour de nous et pourtant on s'arrête rarement pour les regarder vraiment : les algorithmes. Puissants outils de calcul, ces lignes de code sont aujourd'hui principalement utilisées pour tenter d'optimiser le monde qui nous entoure. Mais que produit cette optimisation ? Quels sont ses effets sur notre perception de la réalité quand il s'agit de trier des infos ? Et que produisent les algorithmes quand ils deviennent des leviers de décisions incontestables ? Prenons le temps de creuser un peu le sujet car, de plus en plus, les algos rythmes nos vies.
Soline Ledésert est journaliste et webdesigneuse à l'Icij. Elle collabore au projet Algotransparency et au serment d'Hippocrate des datascientists.
>
Script
À trop construire le futur sur le passé, on fini par oublier le présent. Bonjour !
Algorithme. Nom masculin, issu du patronyme du mathématicien perse Al-Khwarizmi, né il y a plus de 1200 ans, du côté de l'actuel Ouzbékistan. Définition : _« Suite finie et non ambiguë d’opérations ou d'instructions permettant de résoudre un problème ou d'obtenir un résultat »_. Bref, notre cerveau utilise des algorithmes à chaque instant et depuis des millénaires. Prenons une recette de cuisine. Vous avez d'un côté les ingrédients, une liste d'instructions qui vous permet de réaliser votre plat préféré. Et si le résultat est bon, alors c'est que l'algorithme - ici, la recette - est efficace.
Sortons maintenant de notre cerveau en chairs et en neurones pour entrer dans celui - en cuivre et silicium - des machines. Ces dernières décennies, la croissance des capacités de calcul informatique et à l'explosion des flux de données numérisées - coucou Big Data - ont permis de développer tout pleins d'algorithmes. Certains s'avèrent très utiles.
En janvier 2018, la FDA, l'agence du médicament américaine, a autorisé l'utilisation en milieu hospitalier de l'algorithme Wave Clinical Platform. Il analyse en temps réel les constantes vitales d'un ou d'une malade, en surveille des variations infimes et les recoupe avec ses antécédents médicaux et familiaux. Il peut ainsi détecter jusqu'à 6 heures en amont l'imminence d'une crise cardiaque ou d'une insuffisance respiratoire mortelles. Merci l'algo !
L'un des éléments clés d'un algorithme est la définition de son "succès" par celles et ceux qui le code. Pour Wave Clinical Plateform par exemple, c'est la survie du patient. Classe. Mais prenons, au hasard, l'algorithme qui gère la liste des vidéos "À suivre" sur YouTube. Vous savez, la colonne juste là, à droite. Son objectif est simple : vous garder le plus longtemps possible pour vous montrer le plus de publicités. Or, cet objectif peut mener à quelques biais.
D'après une étude menée par Algotransparency, sur les trois mois qui ont précédé les dernières élections présidentielles américaines, pour des recherches sur les termes "trump" ou "clinton", l'algorithme de Youtube aurait recommandé six fois plus de vidéos en faveur de Donald Trump que d'Hilary Clinton. Évidemment, rien d'intentionnel là-dedans. L'algorithme a simplement détecté que les vidéos pro-Trump, plus sensationnelles et radicales, permettaient de garder les audiences plus longtemps sur le site : sa fameuse variable "succès".
Autre élément essentiel d'un algorithme : les données qui permettent de l'entrainer. Demandons à Google de traduire en français le nom neutre anglais "doctor". La réponse est : un docteur. Masculin par défaut. Pour avoir "une doctoresse", il faut écrire "female doctor". À l'inverse, "nurse", lui aussi neutre en anglais, est traduit par "infirmière". Pour avoir "infirmier" vous devrez préciser "male nurse". Pourquoi ? Parce que l'algorithme de Google se base sur l'analyse de millions de textes venus de notre passé, là où les docteurs étaient principalement des hommes et les infirmières des femmes.
Mécaniquement, il transforme donc ce passé en présent éternel.
En 2015, des chercheurs et chercheuses de l'université de Carnegie-Mellon simulent lesvisites de 1000 utilisateurs - 500 hommes, 500 femmes - sur les 100 plus gros sites d’offres d’emploi. Devinez quoi ? Les profils masculins se voient proposer des emplois à haut salaire 1800 fois contre 300 fois pour les profils féminins. Oups. Là encore, lesalgorithmes enracinent dans le présent les inégalités du passé.
Et ça peut devenir dangereux.
Prenons le terrorisme. Ici les flux de données sont analysés avec le secret espoir de détecter une dangereuse aiguille dans une angélique botte de foin. Sauf qu'il n'y a pas de profil type pour un terroriste et une micro-erreur peut vite coûter cher. Imaginons un algorithme qui ne génère qu'1% de faux-positif. Sur 60 millions de personnes, ça fait quand même 600.000 citoyens et citoyennes suspectés à tort. Au Pakistan, la NSA utilise l'algorithme Skynet pour identifier des terroristes potentiels à partir des données mobiles. Les noms identifiés sont ensuite inscrits sur une "kill list" soumise à l'État Major et au président américain. Mieux vaut ne pas faire partie des "faux ositifs".
Aujourd'hui, de nombreux crédits sont soumis à la validation d'un algorithme enfermant les plus pauvres leur pauvreté. Dans certains tribunaux américains, avant une remise en liberté, les risques de récidives sont aussi évalués par des algorithmes. Là encore les biais et les clichés des années passées sont confortées par les algorithmes.
Omniprésents et souvent cachés derrière le secret industriel, il est aujourd'hui essentiel de questionner les algos. Car il est possible de les entrainer avec des flots de données différents et de leur fixer d'autres objectifs autres que la rentabilité ou l'optimisation permanente. En France, la Caisse d'Allocations Familliale travaille sur un algorithme permettant de repérer les ménages ayant droits à des aides mais qui n'en font pas la demande. Il doit être déployé en 2019.
Qui a dit que l'égalité ne pouvait pas être codée ?
Sources
| Année de publication | Auteur·e | Titre | Titre de la publication | ISBN | Url | Langue |
| 2018 | Noble, Safiya Umoja | Social Inequality Will Not Be Solved By an App | Wired | NA | https://www.wired.com/story/social-inequality-will-not-be-solved-by-an-app/ | NA |
| NA | NA | Google Has a Striking History of Bias Against Black Girls | Time | NA | http://time.com/5209144/google-search-engine-algorithm-bias-racism/ | en |
| 2018 | NA | Safiya Umoja Noble : «Avec Google, nous utilisons des technologies qui censurent, mais nous ne voulons pas le voir» | Libération.fr | NA | https://www.liberation.fr/debats/2018/11/02/safiya-umoja-noble-avec-google-nous-utilisons-des-technologies-qui-censurent-mais-nous-ne-voulons-pa_1689541 | fr |
| 2018 | NA | <i>Algorithms of Oppression</i> | Wikipedia | NA | https://en.wikipedia.org/w/index.php?title=Algorithms_of_Oppression&oldid=864243388 | en |
| NA | NA | Algorithmes prédictifs, la nouvelle boule de cristal | France Culture | NA | https://www.franceculture.fr/emissions/la-methode-scientifique/la-methode-scientifique-du-mercredi-27-juin-2018 | fr |
| NA | NA | Un algorithme qui prédit la mort de certains patients à l'hôpital autorisé aux Etats-Unis | Sciences et Avenir | NA | https://www.sciencesetavenir.fr/sante/e-sante/un-algorithme-qui-predit-la-mort-de-certains-patients-a-l-hopital-autorise-aux-etats-unis_120400 | fr |
| NA | NA | Un algorithme plus fiable que l'humain pour deviner l'orientation sexuelle, vraiment ? | Sciences et Avenir | NA | https://www.sciencesetavenir.fr/high-tech/intelligence-artificielle/un-algorithme-plus-fiable-que-l-humain-pour-deviner-l-orientation-sexuelle-des-gens-vraiment_116423 | fr |
| NA | NA | Mon avocat est un algorithme | NA | NA | https://usbeketrica.com/article/mon-avocat-est-un-algorithme | NA |
| 2014 | NA | Report: artificial intelligence will cause "structural collapse" of law firms by 2030 | Legal Futures | NA | https://www.legalfutures.co.uk/latest-news/report-ai-will-transform-legal-world | en-GB |
| NA | NA | La justice à l’heure des algorithmes et du big data | CNRS Le journal | NA | https://lejournal.cnrs.fr/articles/la-justice-a-lheure-des-algorithmes-et-du-big-data | fr |
| NA | NA | Peut-on faire confiance à l'intelligence artificielle ? | CNRS Le journal | NA | https://lejournal.cnrs.fr/articles/peut-faire-confiance-a-lintelligence-artificielle | fr |
| 2017 | Caliskan, Aylin; Bryson, Joanna J.; Narayanan, Arvind | Semantics derived automatically from language corpora contain human-like biases | Science | NA | http://science.sciencemag.org/content/356/6334/183 | en |
| NA | NA | Google Translate's gender bias pairs "he" with "hardworking" and "she" with lazy, and other examples — Quartz | NA | NA | https://qz.com/1141122/google-translates-gender-bias-pairs-he-with-hardworking-and-she-with-lazy-and-other-examples/ | NA |
| 2013 | Ungerleider, Neal; Ungerleider, Neal | Google Translate’s Gender Problem (And Bing Translate’s, And Systran’s…) | Fast Company | NA | https://www.fastcompany.com/3010223/google-translates-gender-problem-and-bing-translates-and-systrans | en-US |
| NA | BFMTV | Le fisc investit 20 millions d'euros dans du logiciel qui analysera les réseaux sociaux des contribuables | BFMTV | NA | https://www.bfmtv.com/economie/le-fisc-investit-20-millions-d-euros-dans-le-logiciel-qui-analysera-les-reseaux-sociaux-des-contribuables-1569719.html | fr |
| NA | NA | Arrêté du 28 août 2017 modifiant l'arrêté du 21 février 2014 portant création par la direction générale des finances publiques d'un traitement automatisé de lutte contre la fraude dénommé « ciblage de la fraude et valorisation des requêtes » | NA | NA | NA | NA |
| NA | NA | Algorithmes, "police fiscale", nom des fraudeurs... Voici les principales mesures du plan anti-fraude de Bercy | Challenges | NA | https://www.challenges.fr/economie/algorithmes-police-fiscale-nom-des-fraudeurs-voici-les-principales-mesures-du-plan-anti-fraude-de-bercy_564628 | fr |
| 2018 | NA | LA POLITIQUE DE CONTRÔLE ET DE PRÉVENTION DES CAF : RÉSULTATS 2017 | NA | NA | https://www.caf.fr/sites/default/files/cnaf/Documents/DCom/Presse/Communiqu%C3%A9s%202018/La_politique_de_contr%C3%B4leet_de_pr%C3%A9vention_des_Caf.pdf | NA |
| 2018 | Mitchell, Margaret; Wu, Simone; Zaldivar, Andrew; Barnes, Parker; Vasserman, Lucy; Hutchinson, Ben; Spitzer, Elena; Raji, Inioluwa Deborah; Gebru, Timnit | Model Cards for Model Reporting | arXiv:1810.03993 [cs] | NA | http://arxiv.org/abs/1810.03993 | NA |
| NA | Buolamwini, Joy | How I'm fighting bias in algorithms | NA | NA | https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms | en |
| 2018 | Gebru, Timnit; Morgenstern, Jamie; Vecchione, Briana; Vaughan, Jennifer Wortman; Wallach, Hanna; Daumeé III, Hal; Crawford, Kate | Datasheets for Datasets | arXiv:1803.09010 [cs] | NA | http://arxiv.org/abs/1803.09010 | NA |
| 2016 | Mann, Gideon; O'Neil, Cathy | Hiring Algorithms Are Not Neutral | Harvard Business Review | NA | https://hbr.org/2016/12/hiring-algorithms-are-not-neutral | NA |
| NA | NA | 72% of Resumes are Never Seen by Employers | NA | NA | https://www.accesswire.com/436847/72-of-Resumes-are-Never-Seen-by-Employers | NA |
| 2015 | Dishman, Lydia; Dishman, Lydia; Dishman, Lydia | The Bias You Didn’t Know Existed In Job Ads And Recruiting Software | Fast Company | NA | https://www.fastcompany.com/3051182/the-bias-you-didnt-know-existed-in-job-ads-and-recruiting-software | en-US |
| 2016 | Schmitt, Églantine | Des humains dans la machine : la conception d’un algorithme de classification sémantique au prisme du concept d’objectivité | Sciences du Design | NA | https://www.cairn.info/revue-sciences-du-design-2016-2-page-83.htm?contenu=resume | fr |
| 2016 | Waddell, Kaveh | How Algorithms Can Bring Down Minorities' Credit Scores | The Atlantic | NA | https://www.theatlantic.com/technology/archive/2016/12/how-algorithms-can-bring-down-minorities-credit-scores/509333/ | en-US |
| 2016 | NA | No Credit History? No Problem. Lenders Are Looking at Your Phone Data | NA | NA | https://www.bloomberg.com/news/articles/2016-11-25/no-credit-history-no-problem-lenders-now-peering-at-phone-data | en |
| NA | NA | Les algorithmes menacent-ils la démocratie? | CNRS Le journal | NA | https://lejournal.cnrs.fr/billets/les-algorithmes-menacent-ils-la-democratie | fr |
| NA | NA | Police prédictive (1/2) : dépasser la prédiction des banalités ? | InternetActu | NA | http://internetactu.blog.lemonde.fr/2017/09/24/police-predictive-12-depasser-la-prediction-des-banalites/ | fr-FR |
| 2018 | Juang, Mike | New kind of auto insurance can be cheaper, but tracks your every move | NA | NA | https://www.cnbc.com/2018/10/05/new-kind-of-auto-insurance-can-be-cheaper-but-tracks-your-every-move.html | NA |
| NA | NA | Comment permettre à l’Homme de garder la main ? Rapport sur les enjeux éthiques des algorithmes et de l’intelligence artificielle | CNIL | NA | NA | https://www.cnil.fr/fr/comment-permettre-lhomme-de-garder-la-main-rapport-sur-les-enjeux-ethiques-des-algorithmes-et-de | fr |
| NA | NA | A quoi rêvent les algorithmes, Dominique Cardon, Sciences humaines - Seuil | NA | NA | http://www.seuil.com/ouvrage/a-quoi-revent-les-algorithmes-dominique-cardon/9782021279962 | fr |
| 2008 | Anderson, Chris | The End of Theory: The Data Deluge Makes the Scientific Method Obsolete | Wired | NA | https://www.wired.com/2008/06/pb-theory/ | NA |
| 2018 | Lewis, Paul | 'Fiction is outperforming reality': how YouTube's algorithm distorts truth | The Guardian | NA | https://www.theguardian.com/technology/2018/feb/02/how-youtubes-algorithm-distorts-truth | en-GB |
| 2018 | Studio, Nice Shit | The Truth About Algorithms | Cathy O’Neil | NA | NA | https://vimeo.com/295525907 | NA |
| NA | NA | False-Positive Card Declines Push Consumers to Abandon Issuers and Merchants | Javelin | NA | NA | https://www.javelinstrategy.com/press-release/false-positive-card-declines-push-consumers-abandon-issuers-and-merchants | NA |
| NA | Curley, Christopher | Many countries don't use credit scores like the US — here's how they determine your worth | Business Insider | NA | https://www.businessinsider.com/credit-score-around-the-world-2018-8 | NA |
| NA | NA | China social credit system, punishments and rewards explained - Business Insider | NA | NA | https://www.businessinsider.com/china-social-credit-system-punishments-and-rewards-explained-2018-4 | NA |
| NA | NA | Une démocratisation du marché ? | Cairn.info | NA | NA | https://www.cairn.info/revue-reseaux-2014-1-page-163.htm | NA |
| 2018 | NA | Circulation : Waze, l’appli qui agace les riverains | leparisien.fr | NA | http://www.leparisien.fr/info-paris-ile-de-france-oise/transports/circulation-waze-l-appli-qui-agace-les-riverains-04-06-2018-7752765.php | fr-FR |
| NA | Olson, Parmy | Why Google's Waze Is Trading User Data With Local Governments | Forbes | NA | https://www.forbes.com/sites/parmyolson/2014/07/07/why-google-waze-helps-local-governments-track-its-users/ | en |
| 2017 | Munk, Timme Bisgaard | 100,000 false positives for every real terrorist: Why anti-terror algorithms don't work | First Monday | NA | https://firstmonday.org/ojs/index.php/fm/article/view/7126 | en |
| 2017 | Dayen, David; Papazoglou, Alexis | Break Up the Credit-Reporting Racket | The New Republic | NA | https://newrepublic.com/article/144780/break-credit-reporting-racket | NA |
| NA | NA | Facebook is rating the trustworthiness of its users on a scale from zero to 1 | Washington Post | NA | https://www.washingtonpost.com/technology/2018/08/21/facebook-is-rating-trustworthiness-its-users-scale-zero-one/ | en |
| 2013 | Ellis, Blake | Millions of credit reports have errors | CNNMoney | NA | https://money.cnn.com/2013/02/11/pf/credit-report-errors/index.html | NA |
| 2018 | Courmont, Antoine | Plateforme, big data et recomposition du gouvernement urbain | Revue française de sociologie | NA | https://www.cairn.info/revue-francaise-de-sociologie-2018-3-page-423.htm | fr |
| 2018 | Biddle, Sam | Facebook Uses Artificial Intelligence to Predict Your Future Actions for Advertisers, Says Confidential Document | The Intercept | NA | https://theintercept.com/2018/04/13/facebook-advertising-data-artificial-intelligence-ai/ | en-US |
| 2018 | Biddle, Sam | Facebook Quietly Hid Webpages Bragging of Ability to Influence Elections | The Intercept | NA | https://theintercept.com/2018/03/14/facebook-election-meddling/ | en-US |
| NA | NA | Sur Spotify, trop de découvertes tue la découverte ? | NA | NA | https://usbeketrica.com/article/sur-spotify-trop-de-decouvertes-tue-la-decouverte | NA |
| 2013 | Ungerleider, Neal; Ungerleider, Neal | Google Translate’s Gender Problem (And Bing Translate’s, And Systran’s…) | Fast Company | NA | https://www.fastcompany.com/3010223/google-translates-gender-problem-and-bing-translates-and-systrans | en-US |
| NA | Horsley, Jamie | China's Orwellian Social Credit Score Isn't Real | Foreign Policy | NA | https://foreignpolicy.com/2018/11/16/chinas-orwellian-social-credit-score-isnt-real/ | en |
| NA | Universalis, Encyclopædia | AL-KHWARIZMI | Encyclopædia Universalis | NA | http://www.universalis.fr/encyclopedie/al-khwarizmi/ | fr-FR |
| NA | NA | algorithme — Wiktionnaire | NA | NA | https://fr.wiktionary.org/wiki/algorithme | NA |
| 2018 | NA | Le logiciel de recrutement d'Amazon qui n'aimait pas les femmes | Reuters | NA | https://fr.reuters.com/article/technologyNews/idFRKCN1MK26B-OFRIN | fr |
| NA | https://www.facebook.com/drewharwell | Wanted: The ‘perfect babysitter.’ Must pass AI scan for respect and attitude. | Washington Post | NA | https://www.washingtonpost.com/technology/2018/11/16/wanted-perfect-babysitter-must-pass-ai-scan-respect-attitude/ | en |
| 2016 | Julia Angwin, Jeff Larson | Machine Bias | ProPublica | NA | https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing | en |
| NA | NA | Un algorithme peut-il prédire le risque de récidive des détenus ? | NA | NA | https://usbeketrica.com/article/un-algorithme-peut-il-predire-le-risque-de-recidive-des-detenus | NA |
| NA | NA | « Algorithmes, la bombe à retardement » : un cri d'alarme citoyen | NA | NA | https://usbeketrica.com/article/comment-les-algorithmes-fragilisent-les-plus-fragiles | NA |
| 2018 | Weill, Kelly | Inside the Flat Earth Conference, Where the World’s Oldest Conspiracy Theory Is Hot Again | NA | NA | https://www.thedailybeast.com/inside-the-flat-earth-conference-where-the-worlds-oldest-conspiracy-theory-is-hot-again | en |
| 2018 | Team, Access Now Policy | The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems | Access Now | NA | https://www.accessnow.org/the-toronto-declaration-protecting-the-rights-to-equality-and-non-discrimination-in-machine-learning-systems/ | en |
| NA | NA | Big data : l’enjeu est moins la donnée personnelle que la disparition de la personne | binaire | NA | http://binaire.blog.lemonde.fr/2016/01/22/le-sujet-de-droit-au-peril-de-la-gouvernementalite-algorithmique/ | fr-FR |
| 2015 | Dishman, Lydia; Dishman, Lydia; Dishman, Lydia | The Hidden Gender Bias In Google Image Search | Fast Company | NA | https://www.fastcompany.com/3045295/the-hidden-gender-bias-in-google-image-search | en-US |
| 2014 | Opam, Kwame | Amazon plans to ship your packages before you even buy them | The Verge | NA | https://www.theverge.com/2014/1/18/5320636/amazon-plans-to-ship-your-packages-before-you-even-buy-them | NA |
| 2014 | Citron, Danielle Keats; Pasquale, Frank A. | The Scored Society: Due Process for Automated Predictions | NA | NA | https://papers.ssrn.com/abstract=2376209 | en |
| NA | Larson, Christina | Who needs democracy when you have data? | MIT Technology Review | NA | https://www.technologyreview.com/s/611815/who-needs-democracy-when-you-have-data/ | en |
Crédits
| Crédits | |
|---|---|
| Un programme court proposé par Premières Lignes et Story Circus en coproduction avec France Télévisions. | |
| Écriture et enquête | Julien Goetz
Sylvain Lapoix |
| Réalisé par | Henri Poulain |
| Graphiste et animation | Laurent Kinowski
Hugo Guillemard |
| Sound design | Christophe Joly |
| Mixage | Yves Zarka |
| Produit par | Luc Hermann
Hervé Jacquet |
| Images et montage | Juliette Faÿsse |
| Directeur de production | Aurélien Baslé |
| Musique | Cezame Music Agency |
| Archives | Getty Images |
| France Télévisions Nouvelles Écritures | Pierre Block de Friberg
Céline Limorato Gwenaëlle Signaté Annick Jakobowicz |
| Nouvelles écritures et Transmedia | Sandrine Miguiran
Vanille Cabaret Léna Sichez |
| Avec la participation du Centre National du Cinéma et de l'Image Animée | |