Libération - 01.08.2019

IV u ibération L Jeudi^1

erAoût 2019

Ecrans noirs (5/6)

«Fake news»,

contrôle des données,

cyberguerre... Retour

sur la face sombre

de nos vies numériques.

Aujourd’hui, comment

les algorithmes peuvent

devenir des outils

de discrimination.

L’ordinateur, machine à trier les hommes

S

ophie Stipes est née

en 2002 dans l’Indiana,

dans une famille modeste.

Peu après sa naissance, on

lui a diagnostiqué une lésion céré-

brale, la leucomalacie périventricu-

laire, des retards de croissance et

de développement, et de lourdes

pertes d’audition. Grâce à des soins

adaptés, elle a pu grandir, appren-

dre quelques centaines de mots en

langue des signes, aller à l’école.

Mais en 2008, alors âgée de 6 ans,

elle est excluede Medicaid, le pro-

gramme d’assurance maladie des

plus démunis, pour cause de«dé-

faut de coopération». n l’espèce,E

un simple problème de paperasse

–que le système automatisé de ges-

tion des programmes d’assurance

publique de l’Etat, confié à un opé-

rateur privé, a sanctionné par une

éviction pure et simple.

Avec l’aide de Dan Skinner, un an-

cien journaliste devenu militant as-

sociatif, les Stipes ont remué ciel et

terre pour obtenir la réintégration

de la petite fille à Medicaid. D’autres

n’ont pas eu cette chance. Après la

mise en place du système, en 2006,

les refus d’aide sociale dans l’In-

diana ont augmenté de 54 % : au

moindre oubli, les bénéficiaires

étaient radiés. Devant le scandale,

l’Etat américain a fini par rompre le

contrat.

Pénaliser. ’est à Sophie Stipes,C

«fillette enjouée, solaire, têtue»,

morte à l’âge de 13 ans, que Virginia

Eubanks, professeurede science

politique à l’université d’Albany,

a dédiéAutomating Inequality

(«l’automatisation des inégalités»,

non traduit, 2018). Outre le système

de l’Indiana, la chercheuse s’est

aussi penchée sur la base de don-

nées centralisée des SDF du comté

de Los Angeles –ouverte à 168 orga-

nisations différentes, y compris la

police– et sur un outil de prévision

du risque de maltraitance à enfant

utilisé en Pennsylvanie. Les systè-«

mes automatisés d’éligibilité [aux

programmes d’aide] découragent

[les plus pauvres] de réclamer les res-

sources dont ils ont besoin pour sur-

vivre, rit Virginia Eubanks.éc Les

bases de données intégrées collectent

leurs informations les plus person-

nelles, avec bien peu de garanties en

matière de vie privée et de sécurité

des données. [...] Les modèles prédic-

tifs et les algorithmes les étiquettent

comme personnes à risque et parents

problématiques.»

Ces dernières années, les constats

de ce type se sont multipliés.

Début 2016, le site d’investigation

ProPublica ainsi enquêté sur lea

logiciel Compas, un outil d’évalua-

tion du risque de récidive utilisé par

des tribunaux américains. En com-

parant, dans plus de 7000 dossiers,

les «scores» attribués par Compas

aux prévenus ou aux détenus et les

récidives survenues dans les

deux ans,ProPublica pu constatera

que«les prévenus noirs étaient

beaucoup plus susceptibles que les

prévenus blancs de se voir attribuer

à tort un risque élevé».

L’an dernier, l’agence Reuters a ré-

vélé qu’Amazon avait commencé à

développer en 2014, puis définiti-

vement abandonné trois ans plus

tard, une intelligence artificielle

capable de dénicher les meilleurs

CV parmi ceux envoyés à l’entre-

prise pour es postes techniques.d

Nourri de données de recrutement

sur une décennie, avec une grande

majorité d’hommes parmi les can-

didats et les embauchés, l’outil

avait «appris» à pénaliser les can-

didatures féminines. Tout algo-«

rithme est [...], en un sens, biaisé,

dans la mesure où il est toujours le

reflet – à travers son paramétrage

et ses critères de fonctionnement, ou

à travers les données d’apprentis-

sage qui lui ont été fournies – d’un

système de valeurs et de choix de so-

ciété»,rappelle a Commission na-l

tionale de l’informatique et des li-

bertés. Et le problème est d’autant

plus crucial quand il s’agit d’outils

utilisés par les pouvoirs publics.

Vigilance. «Le code régule,

écrivait déjà le constitutionna-

liste américain Lawrence Lessig

en 2000 dans un article lumineux,

Code Is Law(«le code fait loi»). lI

implémente – ou non – un certain

nombre de valeurs. Il garantit cer-

taines libertés, ou les empêche.»A

mesure qu’étaient de plus en plus

documentés les problèmes de re-

production des stéréotypes et des

discriminations par les algorith-

mes et l’IA, a émergé le débat sur la

manière de les rendre plus ver-

tueux: transparence, devoir de vi-

gilance des concepteurs, principe

de «loyauté».

Reste que«les algorithmes [...] ne

“gouvernent” que dans la mesure où

nous renonçons à (nous) gouverner

nous-mêmes, dans la mesure où

nous sous-traitons à ces machines la

charge de prendre des décisions qui

nous reviennent, crit la philosopheé

Antoinette Rouvroy dans l’ouvrage

collectifDroit, normes et libertés

dans le cybermonde 2018).( L’exi-

gence de transparence des processus

algorithmiques, ou encore de “res-

ponsabilité” des algorithmes [...] a

sa légitimité et son utilité, mais [...]

ressemble plus à une tentative

d’adaptation du droit à une évolu-

tion – une “prise de pouvoir” des al-

gorithmes– présentée comme inéluc-

table, alors même que cette “prise de

pouvoir” des algorithmes pourrait

bien saper, fondamentalement, les

prémisses de l’Etat de droit.»

AMAELLE GUITON

Dessin OROTHÉE RICHARDD

VENDREDIWHATSAPP