21
- OKTOBER 2019 DIE ZEIT No 44
WIRTSCHAFT
Illustration: Sina Giesecke und
Jelka Lerche für DIE ZEITn Österreich wagt
die Verwaltung seit eini-
gen Monaten ein Experiment,
das die Machtverhältnisse zwischen
Menschen und Maschinen verschieben könn-
te. Wer seinen Job verliert, bekommt es mit dem
Arbeitsmarktservice (AMS) zu tun, einer Behörde, ver-
gleichbar mit der deutschen Bundesagentur für Arbeit. Ver-
gangenes Jahr kümmerte sich das AMS um knapp eine
Million Arbeitslose.
Nun will die Behörde effizienter werden. »Wir müssen mit
unseren Ressourcen haushalten. Wir haben nicht so viele«, sagt
Vorstand Johannes Kopf. »Dann können wir mehr Menschen
in Arbeit helfen.« Kopf hat deshalb beschlossen, sein Geld
anders zu verteilen: Menschen, die gute Aussichten auf einen
neuen Job haben, sollen die meiste Zuwendung bekommen.
Langzeitarbeitslosen dagegen will er etwa eine Facharbeiteraus-
bildung nicht mehr unbedingt bezahlen.
Wie aber erkennt man jene Arbeitslosen mit guten Chan-
cen? Und wie die hoffnungslosen Fälle? Darüber lässt das AMS
seit Jahresbeginn nicht mehr nur seine Mitarbeiter, sondern
Algorithmen entscheiden. Ein Computerprogramm errechnet
anhand der Erwerbsbiografie und Ausbildung, anhand des
Geschlechts und des Alters die Wahrscheinlichkeit, mit der
Arbeitslose innerhalb der nächsten Monate einen neuen Job
finden werden. Der Gruppe mit der schlechtesten Prognose
will die Behörde teure Fördermaßnahmen ab Mitte 2020 unter
Umständen verweigern.
Fünf Wissenschaftler dreier Wiener Universitäten haben
deshalb ein besorgtes Schreiben verfasst. Sie werfen dem AMS
vor, leichtherzig einem Algorithmus zu vertrauen, den kein
unabhängiger Experte vorab getestet hat. Die Forscher haben
den Verdacht, dass das System Frauen und Ältere diskriminiert,
weil es ihnen automatisch schlechtere Chancen bescheinigt.
Seit Monaten versuchen die Forscher, genauere Einblicke zu
bekommen, berichtet der Sozialwissenschaftler Ben Wagner.
Er sagt: »Es geht hier um Menschen, die besonders verletzlich
sind.« Die Öffentlichkeit habe das Recht zu erfahren, wie ein
Rechenmodell funktioniere, das über Tausende urteile.
Bisher hat die Behörde nur einen Teil des Algorithmus
herausgegeben. Den österreichischen Netzaktivisten Andreas
Czák, der alle Variablen sehen wollte, vertröstete das AMS mit
dem Hinweis, das koste 4500 Euro.
Auch in Polen, Schweden und den Niederlanden assistieren
Algorithmen dem Staat. Unternehmen wie der Versicherungs-
konzern Talanx nutzen sie für die Auswahl neuer Mitarbeiter.
Eine Software soll an der Stimme von Bewerbern erkennen, ob
diese für einen Job geeignet sind.
Das Zeitalter der Algorithmen, das viele Bürger für Science-
Fiction halten, hat längst begonnen. Es bietet Anlass für Hoff-
nung und Horror zugleich: Algorithmen diagnostizieren Tu-
more und Augenerkrankungen genauso zuverlässig wie Ärzte.
Wenn Mediziner und Maschinen auf Bildaufnahmen gemein-
sam nach Brustkrebs suchen, stellen sie in 99,5 Prozent der
Fälle die richtige Diagnose.
Erschre-
ckend sind dagegen
die Nachrichten, die seit einiger
Zeit aus China kommen: Dort nutzt
der autoritäre Staat Technologien wie
Gesichtserkennung, um seine Bürger zu
überwachen, zu belohnen und zu bestrafen.
In der westlichen Welt richtet sich die Kritik
bislang meist gegen Digitalkonzerne wie Facebook
oder Amazon, deren Algorithmen Echokammern und
Quasi-Monopole erschaffen haben. Nun warnt ein Bericht
des UN-Sonderberichterstatters für extreme Armut und Men-
schenrechte auch vor Computermodellen im Dienst des Staa-
tes: Die Menschheit dürfe nicht »wie Zombies« in eine digita-
le »Dystopie« stolpern.
Wenn Algorithmen Aufgaben der Verwaltung und der
Justiz übernehmen, stellen sich auch soziale Fragen: Wie
lassen sich die Schwachen der Gesellschaft vor der kühlen
Analyse der Computer schützen? Müssen Maschinen präziser
sein als Menschen?
Noch gibt es darauf kaum Antworten. Das soll eine von der
Bundesregierung eingesetzte Datenethikkommission ändern.
Das mit Informatikern und Juristen, Verbraucherschützern und
Industrievertretern besetzte Gremium beabsichtigte, am Mitt-
woch nach Redaktionsschluss ein Gutachten zu präsentieren,
das der ZEIT vorab vorlag. Die Vorschläge sind weitreichend
und streng, wenn man bedenkt, dass ihnen auch der Präsident
des Bundesverbands der Deutschen Industrie zugestimmt hat.
Die Experten fordern, dass Computermodelle genauso
streng überwacht werden wie Medikamente und Lebensmittel.
Je schwerwiegender die Entscheidungen eines Systems, desto
genauer soll es kontrolliert werden, etwa durch nachträgliche
Tests oder eine Art Algorithmen-TÜV. In besonders heiklen
Fällen fordert das Gremium, Aufsichtsbehörden Einblick in
den Code zu gewähren. Und: Als Hilfsrichter sollten Algorith-
men keinesfalls agieren. In den USA geben sie Richtern Emp-
fehlungen, mit welcher Wahrscheinlichkeit Verurteilte erneut
straffällig werden. Das wollen die deutschen Experten nicht.
Die Vorschläge kommen zu einer Zeit, in der sich Politiker
zunehmend fragen, wie sie die Prinzipien des Rechtsstaats ge-
genüber Digitalkonzernen verteidigen können. Und in der
Anwälte, Forscher und Journalisten durch Recherchen belegen,
welche große Macht Algorithmen schon heute haben und was
für Folgen es haben kann, ihnen blind zu vertrauen.
In Arizona starb 2018 eine Fußgängerin nach einer Kollision
mit einem selbstfahrenden Auto. Am Steuer des Testfahrzeugs
saß eine Sicherheitsfahrerin, aber die schaute auf ihrem Smart-
phone Videos.
Im US-Bundesstaat Michigan bezichtigte ein Computer-
programm zwischen 2013 und 2015 über 34.000 Bürger zu
Unrecht des Sozialhilfebetrugs. Das Verheerende: Die Ent-
scheidungen des Algorithmus hatte niemand überprüft, die
zuständige Behörde hatte zuvor 400 Mitarbeiter entlassen.
Anwälten zufolge meldeten mehr als 1000 Menschen aufgrund
der erdrückenden Nachzahlungsforderungen Privatinsolvenz
an. Bis heute ist unklar, wie es dazu kommen konnte.
Ein Grund für solche Desaster: Algorithmen lernen anhand
von großen Datenmengen. Doch diese Daten sind in der Regel
historisch. Was die Algorithmen über die Zukunft sagen, beruht
also in Wahrheit auf der Vergangenheit. Das kann dazu führen,dass sich his-
torische Benachteili-
gungen fortschreiben.
In Österreich zeigt sich das gera-
de. Dort haben es behinderte Men-
schen, über 50-Jährige und Frauen mit
kleinen Kindern bei der Jobsuche wie in den
meisten Ländern schwerer. Der Algorithmus des
AMS berücksichtigt das, indem er ihnen, vereinfacht
gesagt, Minuspunkte gibt. Das ist zwar faktisch richtig,
aber dennoch problematisch. Die österreichische Behörde
räumt das selbst ein: »Vorurteile und Klischees, die sich real am
Arbeitsmarkt zeigen, finden sich daher auch im Arbeitsmarkt-
chancen-Assistenz-System wieder«, heißt es in einem Statement.
Wenn diejenigen, die geringere Chancen haben, dann auch
noch schlechter betreut werden, setzt das eine Spirale in Gang,
aus der die Betroffenen nur schwer entkommen können.
Johannes Kopf, der Behördenleiter, weist dies zurück: Frau-
en, Ältere und Behinderte würden nicht diskriminiert, weil das
AMS sie mit Sonderprogrammen fördere. Er sagt: »Die Wahl
der richtigen Betreuung liegt beim Berater.« Die Mitarbeiter
könnten das Urteil der Algorithmen also jederzeit revidieren.
Aber tun sie das? Die polnische Verwaltung nutzt ein sehr
ähnliches System wie die österreichische. Dort widersprechen
die Behördenmitarbeiter dem Computerprogramm nur in
einem von 100 Fällen, wie Untersuchungen zeigten. Forscher
nennen dieses Phänomen Algorithm Bias, vorauseilenden
Gehorsam gegenüber Maschinen. »Wenn Sie Sachbearbeiter
sind und die Entscheidung eines Algorithmus anzweifeln, sind
Sie in Rechtfertigungszwang«, sagt Judith Simon, Technik-
philosophin und Mitglied der Datenethikkommission der
Bundesregierung.
Hinzu kommt, dass Daten häufig veraltet sind oder be-
stimmte Gruppen nicht angemessen repräsentieren. Der Infor-
matikerin und Netzaktivistin Joy Buolamwini fiel auf, dass
Software zur Gesichtserkennung sie mitunter nicht identifi-
zierte, ihre Freunde hingegen schon.
Buolamwini hat dunkle Haut. Sie forschte nach und konn-
te belegen, dass die Algorithmen von Microsoft, IBM und der
chinesischen Firma Megvii bei schwarzen Frauen häufig ver-
sagten. Der Grund: In Bilddatenbanken, mit denen die Pro-
gramme trainiert werden, finden sich überproportional viele
weiße Männer. Microsoft hat seine Datensätze nach eigenen
Angaben mittlerweile korrigiert.
In Florida wurde der Afroamerikaner Willie Allen Lynch zu
acht Jahren Gefängnis wegen Drogenhandels verurteilt. Die
Anklage stützte sich auf eine Polizeidatenbank, die ein Foto des
flüchtigen Dealers Lynch zuordnete. Der behauptet, unschul-
dig zu sein. Nachforschungen förderten zutage, dass der Treffer
kaum zuverlässiger als ein Münzwurf war.
Digitalkritiker wie die Forscher vom AI Now Institute der
New York University prangern daneben immer wieder an, dass
Algorithmen die Geschöpfe von Männern sind, weil bei Ama-
zon, Apple und anderen Technologiekonzernen, die Milliarden
in künstliche Intelligenz investieren, so viele Entwickler und so
wenige Entwicklerinnen arbeiten.
Das hat tragikomische Folgen: Die Sprachassistenten dieser
Unternehmen haben fast alle standardmäßig Frauenstimmen
und treten servil auf. Auf die Bemerkung, dass sie eine »Schlam-
pe« sei, antwortete Apples Siri bis vor einiger Zeit mit dem Satz:»Wenn ich
könnte, würde ich
rot werden.« Amazons
Alexa bedankte sich »für das Feed-
back«. Inzwischen haben die Firmen auch
hier nachgebessert.
Die Probleme sind also klar: Schlechte Daten erge-
ben schlechte Algorithmen; Vorurteile aus der Vergangenheit
übertragen sich auf die Zukunft.
Aber was folgt daraus? Sollte man Rechenmodellen grund-
sätzlich misstrauen? Schließlich sind auch Menschen alles an-
dere als fair. Eine Studie zeigte vor einigen Jahren, dass Richter
vor ihrer Mittagspause strengere Urteile fällen als danach.
Algorithmen machen zwar Fehler, aber immerhin sind sie nicht
ungehalten, wenn sie Hunger haben.
Der Mathematiker und Physiker Niki Kilbertus beschäftigt
sich am Tübinger Max-Planck-Institut für Intelligente Systeme
mit der Fairness von Algorithmen. Er stößt dabei an Grenzen:
Wenn eine Bank herausfinde, dass eine bestimmte Bevölke-
rungsgruppe systematisch als weniger kreditwürdig eingestuft
werde, könne die Bank ihr – in der Absicht, fairer zu sein – mehr
Kredite gewähren, erklärt Kilbertus. Es könne aber sein, dass
diese Gruppe das Geld dann auch seltener zurückzahle. Soft-
ware, die gut gemeint ist, führt also nicht unbedingt zu mehr
Gerechtigkeit für alle.
»Wir müssen aufhören, Algorithmen auf ein Podest zu
stellen«, sagte die Statistikerin Kristian Lum kürzlich bei einer
Konferenz in New York. Lum hat erforscht, wie Computer-
modelle die ungleiche Behandlung von weißen und schwarzen
Verdächtigen durch das US-Justizsystem verstärken. Algorith-
men seien nicht so neutral, wie viele Menschen glaubten, so
Lum. Sie seien hochpolitisch.
Wer den Code schreibt, hat die Macht, ihm Werte und
Normen einzupflanzen. Digitalkonzerne wie Google oder Face-
book hüten ihre Programme wie Heiligtümer, freiwillig würden
sie den Code wohl niemals offenlegen. Aber auch Algorithmen
im Staatsdienst sind mitunter eine Blackbox. Doch wer sie kon-
trollieren will, muss wissen, wie sie funktionieren.
Das sehen auch immer mehr Politiker in Brüssel so. Ursula
von der Leyen, die nächste Präsidentin der EU-Kommission,
hat ein Regelwerk für künstliche Intelligenz zu einer ihrer
Prioritäten gemacht. Hinter den Kulissen arbeiten die Res-
sorts Technologie, Justiz und Binnenmarkt an einem Gesetz-
entwurf, der nationalen Regeln etwa aus Deutschland zuvor-
kommen könnte.
Währenddessen verbessern jene Konzerne, die stets schnel-
ler sind als die politischen Systeme, ihre, nun ja, Datengrund-
lage. Ein von Google beauftragtes Unternehmen schickte Zeit-
arbeiter durch die Straßen von Atlanta, die Obdachlose mit
dunkler Haut fotografierten. Auf diese Weise wollte der Kon-
zern die Gesichtserkennungssoftware seines neuen Smartphones
Pixel 4 verbessern. Die Google-Hilfskräfte sagten den Obdach-
losen einem Medienbericht zufolge nicht, wofür die Fotos
waren. Sie gaben ihnen nur Gutscheine für Starbucks.A http://www.zeit.deeaudioI
Wen n
Maschinen
kalt
entscheiden
Verfremdete
Darstellung einer
Software zur
GesichtserkennungAlgorithmen urteilen über
Arbeitslose, Straftäter und Job-
Bewerber. Eine Kommission
der Bundesregierung will ihre
Macht nun bändigen. Kann das
gelingen? VON ANN-KATHRIN NEZIK