86 Le Scienze 6 20 aprile 2020
INTELLIGENZA ARTIFICIALE E SALUTE DIGITALEno le mammografie in cerca di tumori sospetti e informano rego-
larmente i ricercatori su quello che stanno facendo. Ma le sue ri-
cerche sono state ostacolate dalla mancanza di immagini con cui
addestrare l’algoritmo. Quelle disponibili pubblicamente tendo-
no a non essere etichettate in modo corretto oppure sono state ot-
tenute con macchinari antiquati e non più in uso, dice Rudin, ag-
giungendo che, senza insiemi di dati molto vasti e variegati, gli
algoritmi tendono a considerare fattori che possono confondere.
Anche le scatole nere, insieme alla capacità di un algoritmo
di imparare dalle proprie esperienze, pongono sfide per gli enti
di regolazione. A differenza di un farmaco, che agirà sempre allo
stesso modo, gli algoritmi di machine learning evolvono e si mi-
gliorano con il tempo via via che ottengono accesso ad altri dati.
Poiché l’algoritmo estrae i propri risultati da una serie variegata di
dati in ingresso, anche le modifiche apparentemente innocue co-
me un nuovo sistema informatico in un ospedale potrebbero com-
prometterne il funzionamento. «Anche le macchine si ammalano,
proprio come le persone, e possono essere infettate da malware»,la base di un singolo ospedale con un’unica sede, in un unico mo-
mento e su un unico gruppo della popolazione, rimane all’oscuro
delle migliaia di microfattori che i modelli considerano. E se uno
di questi fattori dovesse cambiare, le ripercussioni sarebbero gra-
vi», afferma Finlayson con preoccupazione.
Secondo Finlayson, la soluzione è addestrare un algoritmo con
dati provenienti da diverse sedi e popolazioni di pazienti, e quindi
testarlo in modo prospettico, senza alcuna modifica, su una nuova
popolazione. Eppure solo pochissimi algoritmi sono stati testati in
questo modo. Secondo una recente revisione di Topol su «Nature
Medicine» effettuata su decine di studi che sostengono che l’IA sia
più efficace dei radiologi, solo pochi algoritmi sono stati testati su
popolazioni diverse da quelle su cui erano stati originariamente
sviluppati. «Gli algoritmi sono molto fragili», afferma Cynthia Ru-
din, informatica alla Duke University: «Quando si cerca di usarne
uno al di fuori dell’insieme di immagini su cui è stato addestrato,
non sempre funziona».
Via via che gli scienziati prendono coscienza di questo proble-
ma, potrebbero emergere altri studi prospettici in contesti nuovi.
Il gruppo di Barzilay ha da poco concluso la verifica del suo algo-
ritmo di IA per le mammografie su 10.000 immagini provenienti
dal Karolinska Institut, in Svezia, e ha trovato che l’algoritmo fun-
zionava altrettanto bene come nei laboratori del Massachusetts. Il
gruppo sta ora collaborando con ospedali a Taiwan e Detroit per
testarlo su altre popolazioni di pazienti. Barzilay e colleghi hanno
riscontrato che gli attuali standard per valutare il rischio di can-
cro al seno sono assai meno accurati nelle donne afroamericane,
dice Barzilay, poiché sono stati sviluppati usando principalmente
immagini di donne bianche, e aggiunge: «Abbiamo finalmente la
possibilità di cambiare questa triste situazione».
Incognite legali
Anche quando le conclusioni raggiunte dall’IA sono rilevanti
dal punto di vista medico, il problema della scatola nera pone co-
munque diverse preoccupazione da una prospettiva legale. Se un
algoritmo di IA sbaglia una diagnosi, può essere difficile stabilire
se la colpa sia del medico o del programma. «In ambito sanitario
succedono tante brutte cose e non sempre se ne conosce la ragio-
ne», afferma Nicholson Price, esperto di diritto medico dell’Uni-
versità del Michigan. Se un medico sbaglia la diagnosi a causa di
un sistema di IA, potrebbe non essere in grado di spiegare le sue
motivazioni, mentre i dati dell’azienda sulla metodologia del test
saranno probabilmente un segreto attentamente custodito.
I sistemi medici di IA sono stati introdotti troppo recentemen-
te per essere stati oggetto di battaglie legali, quindi è difficile sta-
bilire come i tribunali attribuiranno le responsabilità e il livello di
trasparenza richiesto.
La tendenza a costruire modelli black box è fonte di frustrazio-
ne per Rudin. Il problema deriva dal fatto che la maggior parte de-
gli algoritmi medici è costruita adattando strumenti di deep lear-
ning creati per altri tipi di analisi delle immagini. «Non c’è motivo
per cui non si possa costruire un robot in grado di spiegare quello
che sta facendo», insiste Rudin. Ma è nettamente più difficile crea-
re un algoritmo trasparente da zero che modificare la funzione di
un modello black box esistente affinché impari ad analizzare i da-
ti medici. Motivo per cui Rudin sospetta che la maggior parte dei
ricercatori applichi un algoritmo e solo in un secondo momento
cerchi di capire il modo in cui ha tratto le sue conclusioni.
Rudin sta sviluppando algoritmi di IA trasparenti, che analizza-