http://www.lescienze.it Le Scienze 41
In una dimostrazione, Higgins e colleghi hanno costruito un
«mondo» semplice da far esaminare alla rete. Era composto da ele-
menti a forma di cuore, quadrato e ovale disposti su una griglia,
ciascuno dei quali poteva essere di sei dimensioni diverse e ave-
re 20 diversi angoli di orientamento. I ricercatori hanno presen-
tato tutte le permutazioni alla rete, il cui compito era isolare i cin-
que fattori di fondo: forma, posizione sui due assi, orientamento e
dimensione. All’inizio hanno permesso un solo fattore e la rete ha
scelto la posizione come quello più importante, la variabile senza
la quale nessuna delle altre avrebbe avuto senso. Poi la rete ha ag-
giunto gli altri fattori in successione.
In questa dimostrazione i ricercatori conoscevano le regole del
mondo perché le avevano scelte loro. Nella vita reale non sarebbe
così ovvio capire se questo metodo del districamento (chiamato in
inglese disentanglement) funzioni o meno. A oggi per determinar-
lo è ancora necessario il giudizio soggettivo di un essere umano.
Come il meta-apprendimento e le reti antagoniste generati-
ve, anche il disentanglement ha molte applicazioni. Innanzitut-
to rende più comprensibili le reti neurali, perché diventa possi-
bile osservarne il ragionamento, molto simile a quello umano. Un
robot può anche usare il disentanglement per creare una mappa
dell’ambiente che lo circonda e pianificare il movimento, invece
di muoversi goffamente per tentativi. Abbinato a quella che i ri-
cercatori chiamano motivazione intrinseca (in pratica la curiosi-
tà), il metodo guida un robot in un’esplorazione sistematica.
Inoltre il disentanglement aiuta le reti ad apprendere nuovi in-
siemi di dati senza perdere quello che già conoscono. Per esem-
pio, immaginiamo di mostrare alla rete immagini di cani: svilup-
pa una rappresentazione districata specifica delle specie canine.
Se poi passiamo ai gatti, le nuove immagini si collocano al di fuo-
ri di quella rappresentazione (le vibrisse sono un indizio evidente)
e la rete nota il cambiamento. «Possiamo guardare a come rispon-
dono i neuroni, e se iniziano a comportarsi in modo atipico proba-
bilmente significa che dobbiamo iniziare l’apprendimento relativo
a un nuovo set di dati», dice Higgins. A quel punto la rete potrebbe
adattarsi, per esempio aggiungendo nuovi neuroni per immagaz-
zinare le nuove informazioni senza sovrascrivere quelle vecchie.
Molte qualità che i ricercatori dell’IA danno alle loro macchi-
ne sono associate, negli esseri umani, alla coscienza. Nessuno sa
bene che cosa sia la coscienza o perché noi esseri umani abbiamo
una vita mentale così vivace, ma ha a che fare con la nostra capaci-
tà di creare modelli del mondo e di noi stessi. I sistemi di IA hanno
bisogno di questa stessa capacità. Una macchina dotata di coscien-
za sembra ancora lontana, ma forse le tecnologie attuali sono i pri-
mi piccoli passi in quella direzione. Qspiega Kyle Cranmer, fisico alla NYU, che ha usato la tecnica per si-
mulare le collisioni di particelle in modo più rapido di quanto ci sa-
rebbe voluto per risolvere tutte le equazioni quantistiche.
Una delle applicazioni più notevoli è Pix2Pix, che può realiz-
zare ogni genere di elaborazione di immagini. Per esempio, un
programma di grafica come Photoshop può facilmente prendere
un’immagine a colori e ridurla in scala di grigio o addirittura a di-
segno tratteggiato, ma andare nell’altra direzione è molto più dif-
ficile, perché per colorare un’immagine o un disegno bisogna fare
scelte creative. Ma Pix2Pix può farlo. Basta inserire coppie campio-
ne di immagini a colori e disegni tratteggiati e il programma impa-
ra a metterli in relazione. Poi si può inserire un disegno tratteggia-
to e Pix2Pix lo completerà come immagine, anche per aspetti su
cui in origine non ha ricevuto un addestramento specifico.
Altri progetti sostituiscono la competizione con la collabora-
zione. Nel 2017 Nicholas Guttenberg e Olaf Witkowski, dell’Earth-
Life Science Institute di Tokyo, hanno impostato una coppia di re-
ti a cui hanno mostrato mini-dipinti che avevano creato, di vari
stili. Le reti dovevano determinare lo stile usato, ma ciascuna ve-
deva una parte diversa del dipinto, quindi dovevano collaborare.
Per farlo dovevano sviluppare un linguaggio privato, che era sem-
plice ma abbastanza espressivo per il compito. «Trovavano un in-
sieme di cose in comune di cui parlare», racconta Guttenberg.
Le reti che imparano da sole a comunicare aprono nuove possi-
bilità. «La speranza è vedere una società di reti che sviluppano un
linguaggio e si insegnano capacità a vicenda», dice Guttenberg. E
se una rete riesce a comunicare quello che fa a un’altra rete, forse
può imparare a spiegare come funziona anche a un essere umano,
rendendo meno imperscrutabile il suo modo di ragionare.
Imparare il buon senso
La parte più divertente di una conferenza sull’IA è quella in cui
un ricercatore mostra gli errori sciocchi fatti dalle reti neurali, che
scambiano per esempio l’immagine casuale dell’assenza di segna-
le video per un armadillo, o uno scuolabus per uno struzzo. La co-
noscenza di cui dispongono è molto superficiale, e gli schemi che
riconoscono possono essere scollegati dagli oggetti fisici che com-
pongono una scena. «Non hanno la comprensione della composi-
zione degli oggetti che hanno persino animali come i ratti», spiega
Irina Higgins, ricercatrice sull’IA a DeepMind.
Nel 2009 Yoshua Bengio, dell’Università di Montreal, ha ipotiz-
zato che le reti neurali sarebbero giunte a una comprensione ve-
ra e propria se si fossero potute districare le loro rappresentazio-
ni interne, cioè se ciascuna delle loro variabili fosse corrisposta a
un elemento indipendente del mondo. Per esempio, la rete dovreb-
be avere una variabile di posizione per ogni oggetto. Se un oggetto
si muove, ma il resto rimane uguale, dovrebbe cambiare solo quel-
la variabile, anche se sono cambiate centinaia di migliaia di pixel.
Nel 2016 Higgins e colleghi hanno trovato un modo per farlo. Si
basa sul principio che il vero insieme di variabili, che corrisponde
alla vera struttura del mondo, sia anche il più economico. I milio-
ni di pixel di un’immagine sono generati da relativamente poche
variabili combinate in una moltitudine di modi. «Il mondo è dota-
to di ridondanza, ed è il tipo di ridondanza che il cervello può com-
primere e sfruttare», dice Higgins. Per raggiungere una descrizio-
ne parsimoniosa, la sua tecnica usa l’equivalente computazionale
dello strizzare gli occhi: limita deliberatamente la capacità della re-
te di rappresentare il mondo, in modo che sia costretta a seleziona-
re solo i fattori più importanti. Poi si allenta gradualmente la limi-
tazione e si permette alla rete di includere fattori secondari.
Generative Adversarial Nets. Goodfellow I.J. e altri, presentato alla 2014 Neural
Information Processing Systems Conference, Montreal, 8-14 dicembre 2014.
https://papers.nips.cc/paper/5423-generative-adversarial-nets.
Deep Learning. LeCun Y. e altri, in «Nature», Vol. 521, pp. 436-444, 28 maggio
2015.
beta-VAE: Learning Basic Visual Concepts with a Constrained Variational
Framework. Higgins I. e altri, presentato alla 5th International Conference on
Learning Representations, Tolone, Francia, 24-26 aprile 2017.
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Finn
C. e altri, presentato alla 34th International Conference on Machine Learning,
Sydney, Australia, 6-11 agosto 2017.
Macchine che imparano. Bengio Y., in «Le Scienze» n. 576, agosto 2016.