er Spiegel - 10. August 2019

Zug

Weniger Merkmale von Triebwagen oder

Waggon, sondern vor allem die parallel ver-

laufenden Linien der Schienenstränge geben

bei der Erkennung den Ausschlag.

Dumm, aber raffiniert Wie bestimmte KI-Systeme Bildmotive erkennen Quellen: »Nature Communications«, TU Berlin

Schiff

Die für den Menschen leicht erkennbaren

Formen des Schiffskörpers werden nur flüchtig,

die Wasseroberfläche hingegen rechenintensiv

analysiert.

Pferd und Reiter

Besonders dreist: Nicht anatomische Merk-

male, sondern der links unten lesbare Hinweis

auf die Fotoagentur führte zur richtigen

Schlussfolgerung.

Heatmaps

von der KI

intensiv

analysierte

Bildteile

DER SPIEGEL Nr. 33 / 10. 8. 2019 101

Manche KI-Systeme gehen ähnlich vor
wie der »Kluge Hans«, zum Beispiel Pro-
gramme zur Musiksortierung, wie der
Informatiker Bob Sturm von der König -
lichen Technischen Hochschule in Stock-
holm herausgefunden hat. Verblüffend
genau können solche Programme erken-
nen, ob es sich bei einem Stück zum Bei-
spiel um Rock oder Country handelt.
Sturm entdeckte aber: Das System achtet
gar nicht wirklich auf die Musik, es analy-
siert weder die Melodie noch die einge-
setzten Instrumente, sondern registriert
lediglich ein niederfrequentes, für Men-
schen unhörbares Brummen, das statis-
tisch zu der einen oder anderen Musik-
richtung passte.
Na, und? Wer sortiert, hat recht, oder
nicht? Aber genau das ist ein Problem:
Schon kleinste Veränderungen, zum Bei-
spiel ein minimal langsameres Abspielen
eines Stückes, kann die gleichsam schwer-
hörige Musik-KI so sehr verwirren, dass
sie eine Opernarie mit einem Rocksong
verwechselt.
Die teilweise ernüchternd simple Funk-
tionsweise einiger KI-Systeme ist mehr als
eine Anekdote, es ist bisweilen ein Sicher-
heitsrisiko. »Wir haben den Punkt erreicht,
bei dem das maschinelle Lernen zwar
funktioniert, aber leicht geknackt werden
kann«, warnen die KI-Experten Nicolas
Papernot und Ian Goodfellow in ihrem
Blog »cleverhans.io«: »Die meisten Ma-
schinenlernsysteme wurden für ein schwa-
ches Bedrohungsszenario entwickelt, in
dem es keinen echten Gegner gibt.«
Papernot, ab Herbst in Toronto Assis-
tant Professor für Maschinenlernen, ar -
beitet derzeit für Google. Im Detail be-

schreibt er im Blog, wie einfach sich ma-

schinelle Lernsysteme austricksen lassen.

In einem Versuch hat Papernot das Foto

eines Pandabären durch winziges Pixel-

rauschen so verändert, dass die KI darauf

einen Gibbon-Affen erkennt. Das mensch-

liche Auge dagegen nimmt die Bildmani-

pulation nicht wahr und erkennt weiterhin

einen Panda.

Tatsächlich versagen Bilderkennungs-

programme immer wieder, weil sie sich

leicht in die Irre führen lassen. Als im April

die Kathedrale Notre-Dame in Paris brann-

te, kategorisierte der YouTube-Algorith-

mus die Videos unter »9/11« ein, als terro-

ristischen Anschlag. Warum? Möglicher-

weise, weil bei beiden Ereignissen lange

Rauchwolken am Himmel standen.

»Ich kann ja die wunderbare Anzie-

hungskraft einer übermenschlichen KI-

Gottheit nachvollziehen, das wäre so

ähnlich wie Superman«, schreibt Kevin

Kelly, einer der Vordenker der Zeitschrift

»Wired«. »Aber wie Superman ist es eben

nur eine mythische Figur.« Kelly lässt

die heiße Luft aus dem KI-Hype, um den

Blick zu schärfen. Nicht auf ein globales

Superhirn, sondern auf viele kleine, mit-

telsmarte Progrämmchen, die den Alltag

erleichtern.

Schon heute sickern derlei Mini-KI-Sys-

teme in immer mehr Nischen. So planen

Facebook-Ingenieure, Maschinenlernsys-

teme direkt auf den Handys der Nutzer

zu installieren, statt wie bisher per Internet

auf KI-Systeme zuzugreifen, die auf Groß-

rechnern laufen. »Edge AI« heißt der neue

Trend – KI auf Peripheriegeräten.

Doch auf der Facebook-Entwicklerkon-

ferenz »F8« im Mai wurden auch die Nach-

teile diskutiert: Die lokalen KI-Program-

me könnten leichter vor Ort »vergiftet«

werden mit bösartigen Angreiferdaten.

Und sie müssten geschrumpft werden, weil

auf Smartphones der Speicherplatz be-

grenzt ist, was wiederum die Algorithmen

weniger treffsicher macht – und damit feh-

leranfälliger und unzuverlässiger.

Der Weg nach vorn braucht kritische

Beiträge von Praktikern wie Papernot

oder Müller, die nicht dystopische Schre-

ckensvisionen von übermächtigen Maschi-

nenintelligenzen auswalzen, sondern die

eher wie Hausmeister in den Heizungskel-

ler der Programmarchitekturen steigen.

»Wir können uns in Weltuntergangs -

szenarien verlieren, oder wir können mit-

hilfe von KI die praktischen Alltagspro-

bleme angehen, die wir auf dieser Welt

heute haben«, sagt Klaus-Robert Müller.

So habe sein Team Windturbinen mithilfe

lernender Maschinen um mehr als ein Pro-

zent effizienter gemacht, berichtet er:

»Das ist kein Hexenwerk.«

Derzeit entwickelt Müller zusammen

mit Ärzten der Berliner Charité ein KI-

Analyseprogramm, das Krebszellen in Ge-

webeproben aufstöbern soll. »Falls ich

später einmal Krebs bekomme«, sagt der

Computerexperte, »möchte ich sicher sein,

dass meine Diagnosesoftware nicht auf

›Clever Hans‹-Strategien beruht.«

Hilmar Schmundt

Video

Der Gehirn-Flipper

spiegel.de/sp332019ki

oder in der App DER SPIEGEL