12 // IDEES & DEBATS Mardi 10 mars 2020 Les Echos
prospective
INTELLIGENCE ARTIFICIELLE// L’IA ne sera un succès que si elle inspire confiance. Rendre ses déci-
sions transparentes, un défi que tentent de relever des experts de la psychologie et de la pédagogie.L’ IA à l’heure de la transparence algorithmique
Jacques Henno
@jhennoparisL
e 5 février dernier, le tribunal de
La Haye a interdit au gouvernement
hollandais d’utiliser SyRI, un logiciel
de détection de fraude aux aides sociales.
L’administration batave avait refusé de
dévoiler le code informatique de ce système
automatique qui croisait différentes don-
nées (déclarations fiscales, montants des
aides perçues...) et ciblait les populations les
plus pauvres. « Nous espérons que ce précé-
dent va encourager les Etats à publier le code
des algorithmes qu’ils utilisent, commente
Amos Toh, qui a suivi ce procès pour HRW
(Human Rights Watch), une ONG améri-
caine où il est chercheur, chargé de l’IA et des
droits de l’homme. Cela permettrait à des
organismes tiers de vérifier le bon fonctionne-
ment de ces programmes et aux citoyens de
comprendre comment ont été motivées les
décisions les concernant. »
Les systèmes de prise de décision auto-
matique commencent à avoir un impact sur
la vie de millions de citoyens, de
consommateurs ou de salariés : traque à la
fraude fiscale, recrutement, reconnaissance
faciale, sélection pour l’enseignement supé-
rieur, surveillance de la productivité des
ouvriers ou des manutentionnaires, octroi
de prêts bancaires, chatbots...
A chaque avancée, des experts rappellent
que ces logiciels ne sont que des « boîtes noi-
res ». « On consacre trop d’énergie et de temps
à essayer de comprendre comment certains
algorithmes fonctionnent et prennent leurs
décisions », soupire Marie David, diplômée
de l’X et de l’Ensae (Ecole nationale de la sta-
tistique et de l’administration économique).
Les enjeux de cette transparence algorith-
mique sont légaux, économiques et socié-
taux. Légaux? « Les lois européennes, comme
le RGPD, et françaises imposent une forme de
transparence sur la logique sous-jacente à un
traitement automatisé des données à caractère
personnel », rappelle Grégory Flandin, direc-
teur de programme Intelligence artificielle
pour les systèmes critiques à l’IRT Saint-Exu-
péry, un institut de recherche technologique
toulousain. « Le RGPD a un fort impact , con-
firme Jean-Philippe Desbiolles, vice-prési-
dent mondial IA et données pour le secteur
financier, chez IBM. Les audits internes con-
sacrés à l’absence de biais, à la transparence et
à l’explicabilité de l’IA sont en forte augmenta-
tion depuis quelques mois chez nos clients. »
Tous les éditeurs de plateformes d’IA propo-
sent d’ailleurs à leurs utilisateurs des outils
détaillant – un peu (voir ci-dessous) – le fonc-
tionnement de leurs logiciels. Et les grandes
firmes embauchent des spécialistes.
« Depuis sept mois, je suis responsable monde
de l’éthique de l’IA pour le cabinet EY », expli-
que Ansgar Koene, p ar ailleurs chercheur en
informatique à l’université de Nottingham
(Angleterre) et auteur, en avril 2019, d’un
guide sur la transparence algorithmique
pour la Commission européenne.Problèmes éthiques
Les enjeux économiques? « G eorge Akerlof,
le Nobel d’économie 2001, a montré que si un
marché devenait opaque pour certains de ses
acteurs, il risquait de s’effondrer , rappelle
Patrick Waelbroeck, professeur d’économie
à Telecom ParisTech. C’est ce qui pourrait
arriver à l’IA si on ne parvient pas à lui injecter
plus de transparence. »
Les enjeux sociétaux? « Le risque est de
voir des consommateurs ou des citoyens non
seulement rejeter des décisions qu’ils ne com-
prennent pas, mais aussi rejeter l es entreprises
ou les Etats utilisant ces logiciels », estime
Anne Bouverot, présidente de Technicolor et
de la fondation Abeona (« la science des don-
nées pour l’équité et l’égalité »). « Tous les pro-
blèmes éthiques que soulève l’IA ont déjà été
traités , estime Teemu Roos, qui enseigne l’IA
et la donnée à l’université d’Helsinki (Fin-
lande). Sauf, la transparence et la responsabi-
lité algorithmiques. C’est pourquoi il faut faire
un effort particulier de pédagogie sur ces deux
aspects. » Les initiatives se multiplient. Elles
sont de deux ordres : tenter de former le plus
de citoyens possible aux grands enjeux de
ces algorithmes ; et trouver des solutionspour expliquer simplement à un non-spécia-
liste le processus de décision de l’IA.Impact sur la vie privée
A partir de début avril, les Français vont pou-
voir s’initier à l’IA, grâce à deux Mooc. L’un,
déjà disponible en six langues européennes,
vient d’Helsinki : « Lancé en mai 2018, Ele-
ments of AI a été suivi par 362.000 personnes,
dont seulement un tiers de Finlandais » , pré-
cise Megan Schaible, chef des opérations
chez Reaktor, un cabinet de conseil en tech-
nologies d’Helsinki qui a conçu ce Mooc avec
Teemu Roos. L’autre cours, Objectif IA, est
issu de la collaboration entre un groupe de
réflexion de l’Institut Montaigne, le spécia-
liste de la pédagogie en ligne Open-
Classrooms et la fondation Abeona.
« Transparency by Design », psychologie
de l’explication, impact sur la vie privée... les
initiatives se multiplient sur la meilleure
façon d’expliquer au grand public le résultat
d’un logiciel. « Nous voulons que la transpa-
rence vis-à-vis des candidats soit intégrée à nos
prochaines plateformes d’intelligence artifi-
cielle dès leur conception », lance, mais sans
donner plus de détails, Steve O’Brien, res-
ponsable des opérations chez Job.com, un
site de recrutement en ligne américain qui se
réorganise autour de l’IA. « Qu’est-ce qu’une
bonne explication? Comment évaluer son uti-
lité? Toutes ces questions, d’ordre psychologi-
que, font aussi partie de notre programme » ,Qu’ils soient fondés sur des modèles logiques ou des statistiques, les systèmes de prise de décision
automatique, commencent à avoir un impact sur la vie de millions de citoyens...De quoi
parle-t-on?- Machine learning^
technologie d'intelligence
artificielle permettant aux
ordinateurs d'apprendre à
partir de jeux de données. - Biais^
« défaut » dans le jeu
de données qui a servi
à l’apprentissage et qui
reflète les a priori racistes,
sexistes, sociaux... de ceux
qui ont élaboré cet
échantillon. - Explicabilité^
une décision prise par
un algorithme d’IA
doit pouvoir être expliquée
à des experts ou
des non-spécialistes. - Transparence^
le consommateur ou
le citoyen doit être tenu
au courant qu’il fait l’objet
d’un traitement
automatisé, doit recevoir
des explications sur
les décisions prises à
son égard et doit pouvoir
contester cette décision. - Répétabilité^
le même algorithme
avec les mêmes données
engendre les mêmes
résultats. - Robustesse^
un algorithme est robuste
si de légères modifications
dans les données en entrée
ne modifient pas
le résultat. - Certificabilité^
possibilité de certifier,
à l'issue de tests, qu’une IA
respecte certains critères
(répétabilité, robustesse...)
et qu’elle ne représente
donc pas un risque
pour les utilisateurs
et les consommateurs.
Les utilisateurs d’IA sont-ils bien informés?
Les principaux éditeurs de programme d’IA (IBM, Google, Microsoft...),
proposent des suites logicielles (AI OpenScale chez IBM, Google
AI Explanations...) qui permettent à leurs utilisateurs de comprendre
comment ces programmes d’IA sont parvenus à prendre telle ou telle
décision. Ces outils restent pour l’instant limités, puisqu’ils se contentent
de mettre l’accent sur certaines données ayant permis à l’algorithme de
prendre sa décision sans toutefois dévoiler de relations explicatives.
Ils permettent aux ingénieurs non spécialistes en explicabilité de faire
une première analyse de ces logiciels. « Il faut bien se rendre compte
qu’aujourd’hui encore, personne ne comprend pourquoi le deep learning
marche aussi bien », met en garde Guillaume Gaudron, directeur général
de l’antenne de Montréal de l’Institut de Recherche Technologique Saint
Exupéry (Toulouse), spécialisé dans l’aérospatial et les systèmes embar-
qués. Cet IRT pilote, avec son partenaire toulousain ANITI et deux instituts
québécois, IVADO et CRIAQ, le projet transatlantique DEEL (DEpendable
& Explainable Learning) : « Nous promouvons des recherches permettant
d’élaborer des outils attestant de la robustesse et de la certificabilité
d’algorithmes d’IA », détaille Guillaume Gaudron. Ce qui permettra
d’embarquer ces programmes sur des véhicules autonomes,
en toute sécurité.o
L’INVENTION
Une puce qui reconnaît
des objets
P
as encore un œil artificiel mais mieux qu’un
simple système de reconnaissance d’images.
La puce électronique mise au point par des
chercheurs de l’université de Vienne, et décrite dans
un article publié dans la revue « Nature », constitue
un pas supplémentaire dans les progrès de l’analyse
d’images. Aujourd’hui pour détecter un cancer
ou faire fonctionner une voiture autonome, les
systèmes travaillent à partir d’images prises par une
caméra classique ensuite traitées sur un ordinateur
par une intelligence artificielle et des réseaux
de neurones. Efficace mais lent. La puce mise
au point par les scientifiques autrichiens constitue
elle-même un réseau de neurones susceptible d’être
entraînée à la reconnaissance d’objets. L’intérêt,
c’est la vitesse avec un temps de réaction d’environ
50 milliardièmes de seconde. « La technologie
peut être adaptée à l’application. On peut en théorie
l’entraîner à distinguer des pommes de bananes,
mais nous pensons à des domaines beaucoup plus
techniques, notamment scientifiques, qui mettent
en œuvre des vitesses très élevées comme des détections
de particules », explique Thomas Mueller,
l’un des auteurs sur le site de l’université. — F. N.
Techno-cogito,
ergo sum
LA
CHRONIQUE
de Catherine Simon
L
es produits et offres de services
technologiques foisonnent de plus en plus
dans nos vies quotidiennes. En parallèle, la
jeune génération nous interpelle sur nos modèles et
la planète réagit violemment à ce que nous
qualifions toujours de progrès. Le Big Data et l’IA
doivent nous permettre de mieux connaître le
« consommateur ». Le marketing s’automatise, et la
relation aux clients est augmentée de nouveaux
contacts et services, principalement numériques. La
transformation technologique des entreprises est
systématiquement associée aux objectifs de
performance, productivité, réduction des coûts et
compétitivité. Le tout, en améliorant la qualité et les
possibilités de personnalisation... et bien sûr, dans
une démarche responsable et éthique. En robotique,
viennent alors s’ajouter des objectifs d’améliorations
des conditions de travail, de réduction des troubles
musculosquelettiques, de sécurité et maintenance
des infrastructures... Cet impératif d’innovation
entraîne un bouleversement intense des
organisations et des métiers, et une suractivité dans
les entreprises qui nous accapare, nous stresse, nous
« burn-out ». Dans ses activités professionnelles
comme personnelles, l’usager est soumis à de
multiples injonctions de transformer ses pratiques
et exposé aux peurs relayés par les médias. Cette
accélération technologique est une frénésie, sans
jamais avoir le temps de songer à notre vie.
Or les machines ne pensent pas. Elles captent des
données, les analysent et mettent en œuvre les
fonctionnalités pour lesquelles nous les avons
programmées. L’usager doit être informé sur les
technologies intégrées dans les objets qui
l’entourent, pour les utiliser à leurs pleines capacités,
tout en étant conscient que les fonctionnalités sont
sujettes à des pannes, des bugs, des erreurs de
manipulation, des actes potentiels de malveillance.
La responsabilité en incombe tant au fabricant et
son distributeur qu’à l’usager et à l’écosystème de
services et de régulation, qui accompagnent tout
objet technologique. Il ne s’agit plus d’une relation
du producteur au client et au consommateur. Il ne
s’agit plus d’une chaîne de valeur verticale mais bien
de réseaux complexes d’interdépendances au sein
de systèmes. Penser, c’est bifurquer, comme
l’énonçait si magnifiquement Michel Serres. Ne pas
obéir aveuglément à son GPS, qui pourtant calcule
en temps réel le trajet optimal, mais prendre des
chemins de traverse. Les objets technologiques n’ont
de sens que s’ils apportent leurs capacités au service
des réponses individuelles et collectives à la
question : dans quel monde voulons-nous vivre?
Catherine Simon, Relation Entreprise
& Partenariat, Strate, école de design
révèle Matt Turek, responsable du projet
XAI (Explainable Artificial Intelligence) à la
Darpa, l’agence chargée de la recherche au
sein du département de la Défense améri-
cain. Beaucoup d’universitaires planchent,
eux, sur des méthodes tentant de montrer le
poids relatif de tel ou tel paramètre dans la
prise de décision d’un système d’IA (Quanti-
tative Input Influence). Yair Zick, qui ensei-
gne l’informatique à l’université nationale de
Singapour, en fait partie. Il attire cependant
l’attention sur l’impact sur la vie privée de ces
systèmes explicatifs. « Plus vous donnez
d’information sur un algorithme, plus vous
donnez la possibilité à d’autres utilisateurs de
l’appliquer à d’autres personnes et ainsi d’en
savoir plus sur ces dernières! » prévient-il. La
transparence a aussi ses revers.« Tous les problèmes
éthiques que soulève
l’IA ont déjà été traités.
Sauf, la transparence
et la responsabilité
algorithmiques. »
TEEMU ROOS
Enseignant de l’IA et de la donnée
à l’université d’Helsinki (Finlande)iStock