Handelsblatt - 11.03.2020

Vorhersagetool für potenzielle Sozialhilfebetrüger

nutzten und dieses Menschen wie Bouchkhachak-

he ins Visier nahm, untersagten sie den Einsatz.

Begründung: Die Software sei intransparent und

verstoße gegen die europäische Menschenrechts-

konvention.

Vom Drohnenkrieg zur XAI
Schon jetzt diskriminieren Systeme mit KI Men-
schen wie Gates und Bouchkhachakhe. Doch was
passiert, wenn autonome Waffen in Zukunft über
Leben und Tod von Menschen entscheiden? Mit
dieser Frage beschäftigt sich die US-Militärbehörde
Darpa seit 2017. Mit ihrem XAI-Programm hat sie
Bewegung in die Forschung zur erklärbaren KI ge-
bracht. In Zeiten von Drohnenkriegen sucht die Be-
hörde nach einem Weg, die Technologie im Krieg
einsetzbar zu machen, zum Beispiel bei der Erfas-
sung von möglichen Angriffszielen.
Es ist ein Extrembeispiel, da eine Künstliche
Intelligenz eine existenzielle Entscheidung treffen
könnte. Das Pentagon hat deswegen Ende Februar
neue ethische Prinzipien definiert. Laut Jack
Shanahan, Direktor des KI-Zentrums des US-Ver -
teidigungsministeriums, müsse sichergestellt
werden, dass KI „rückverfolgbar“ und „kontrollier-
bar“ sei. Daran arbeitet die Darpa. Ziel des Pro-
gramms ist es, eine KI zu entwickeln, die erklärba-
re Modelle verwendet, ohne dass ihre Leistungsfä-
higkeit sinkt. Außerdem sollen Menschen die
Vertrauenswürdigkeit von Entscheidungen sowohl
in Echtzeit als auch im Nachhinein verstehen kön-
nen.
Seit dem Darpa-Programm hat sich in der For-
schung viel getan. Immer mehr Unternehmen se-
hen einen Nutzen in erklärbaren KI-Modellen. Ulli
Waltinger, der bei Siemens technischer Leiter des
Labors für Künstliche Intelligenz ist, sieht dabei
den Menschen als Bindeglied zwischen digitaler
und physischer Welt. „In der Industrie trifft die IT
immer öfter Entscheidungen, die Einfluss auf die
OT nehmen“, sagt Waltinger – also etwa auf Pro-
duktionsmaschinen, im Fachjargon Operational
Technology genannt. „Der Kunde sollte Teil des
Entscheidungsprozesses sein und ihn nachvollzie-
hen können.“
Waltingers Team hat beispielsweise eine Anwen-
dung zur „Detektion von Anomalien“ entwickelt,
die auf dem XAI-Ansatz beruht. Damit kann Sie-
mens „anhand von gesammelten Daten vorherse-
hen, wann eine Maschine einen Fehler produzie-
ren könnte, und ist gleichzeitig in der Lage, zu er-
klären, warum ein Fehler wahrscheinlich ist“, sagt
Waltinger dem Handelsblatt. Über eine grafische
Oberfläche wird der Arbeiter über die Gründe in-
formiert. Auf diese Weise wird er nicht von der
Entscheidung der KI überrascht, wenn eine Ma-
schine von ihr heruntergefahren wird, um einen
möglichen Totalausfall zu verhindern.

„Es gibt drei Gründe, warum erklärbare KI für

Unternehmen wichtig ist“, sagt deswegen Oxford-

Professorin Wachter. „Erstens müssen Unterneh-

men die Algorithmen verstehen können, um die

Kontrolle über die KI zu behalten und Fehler in

den Datensätzen beheben zu können. Zweitens

wollen Konsumenten wissen, was hinter den Al-

gorithmen der Unternehmen steckt, um der Fir-

ma und deren Produkten vertrauen zu können.

Und drittens muss die Gesellschaft als Ganzes

verstehen können, wie eine KI eines Unterneh-

mens, die Auswirkungen auf ihr Leben nimmt,

funktioniert.“

Auch die Automobilbranche wird auf erklärbare

KI angewiesen sein, wenn sie in Zukunft komplexe-

re autonome Fahrfunktionen anbieten will. Verur-

sachen Roboterautos Unfälle, müssen Polizisten,

Gutachter und Juristen verstehen können, wie die

KI zu Entscheidungen gekommen ist.

Dass das derzeit noch nicht der Fall ist, beweist

das Beispiel eines Autozulieferers, der Softwarelö-

sungen für Kamerasysteme von Fahrerassistenzsys-

temen entwickelt. Dabei hat das Unternehmen fest-

gestellt, dass das System Entfernungen mithilfe ei-

nes Monokamerabildes besser einschätzen kann

als der Mensch. Wie sich die KI das beigebracht

hat, können die Entwickler jedoch nicht erklären.

Der Autozulieferer Continental nutzt daher XAI-

ähnliche Ansätze bei der Entwicklung von autono-

men Systemen, sagt Corina Apachite, die bei dem

Autozulieferer die KI-Abteilung leitet. „Wir haben

zum Beispiel spezielle Verfahren und Tools entwi-

ckelt, die die Funktion einer KI nachvollziehbar

machen“, sagt sie dem Handelsblatt. Wichtig sei

dabei, die richtige Erklärung für die jeweilige Nut-

zergruppe liefern zu können. „Ein Ingenieur ist auf

eine andere Erklärung angewiesen als beispielswei-

se ein Jurist. Jede Nutzergruppe benötigt eine eige-

ne Erklärung“, sagt Apachite.

Sandra Wachter hat jedenfalls keinen Zweifel da-

ran, dass sich erklärbare KI durchsetzen wird. Alle

Akteure hätten ein großes Interesse daran: „Das

Unternehmen will die KI verstehen, um sie zu ver-

bessern, der Kunde, um der KI vertrauen zu kön-

nen, und die Regulatoren, um Verstöße und mög-

liche Ungerechtigkeiten zu verhindern.“ Das hätte

Fälle wie die von Darnell Gates und Mohamed

Bouchkhachakhe vermutlich verhindert.

Erklärbare KI

Wie Computer

erklären lernen

O

b beim automatisierten Fahren oder der

Spracherkennung, ob bei der Suche nach

neuen Medikamenten oder der Analyse

der Kreditwürdigkeit: Künstliche Intelligenz hat

das Potenzial, zahlreiche Lebensbereiche zu ver-

ändern. Die technischen Durchbrüche der ver-

gangenen Jahre, die das ermöglichen, sind

schwerpunktmäßig auf eine Teildisziplin zurück-

zuführen, das maschinelle Lernen oder Machine

Learning (ML).

Dabei leiten Algorithmen aus gigantischen Da-

tensätzen Regeln ab oder erkennen Muster, ohne

dass dabei Programmierer jeden einzelnen

Schritt genau vorgeben müssen – das Programm

bringt sich also beispielsweise selbstständig bei,

wie eine Katze aussieht oder welche Anomalien

den Ausfall einer Produktionsmaschine ankündi-

gen. Zumindest, sofern ausreichend Rechenleis-

tung und Daten vorhanden sind, um das System

zu trainieren.

Daran mangelt es heute nicht: Unternehmen

und Behörden sitzen auf riesigen Datenbergen.

Autohersteller können die Sensoren in den Fahr-

zeugen nutzen, Industrieunternehmen die Rück-

meldungen der Maschinen, Krankenkassen ha-

ben Patientendaten und Städte Einwohnerdaten.

Zudem bietet das Internet einen schier unendli-

chen Fundus an Videos und Sprachaufnahmen.

Der Computer nimmt diese Daten als Grundlage.

Dieses Verfahren birgt jedoch ein Problem: Der

Algorithmus sucht nach statistischen Zusammen-

hängen, nicht nach Erklärungen. Korrelationen

sind jedoch keine Kausalitäten. Wenn Straftäter

in den USA häufig schwarz sind, heißt das nicht,

dass Schwarze automatisch ein größeres Risiko

für die Allgemeinheit bedeuten, wie es Software

für die Sozialprognosen von Häftlingen teilweise

nahelegt: Womöglich spiegeln die Daten auch so-

ziale Unterschiede in der Gesellschaft und rassis-

tische Vorurteile im Justizsystem wider.

Die Folgen können gravierend sein. Ein Sys-

tem, auf das viele Behörden zugreifen, beein-

flusst die Entscheidung zahlreicher Bewährungs-

helfer – auch derer, die keine Vorurteile gegen-

über Schwarzen haben. Gleichzeitig ist es

schwierig, die Ergebnisse anzufechten: Welche

Kriterien dem Vorschlag zugrundeliegen, ma-

chen die wenigsten Systeme transparent.

Es gebe unzählige Beispiele, in denen eine KI

versage, sagt Sandra Wachter, Forscherin an der

Universität Oxford, und der Grund sei immer der

gleiche: „Die Algorithmen beruhen auf Daten, die

unsere Gesellschaft widerspiegeln, und in dieser

werden bestimmte Gruppen nach wie vor be-

nachteiligt.“

Bei einer erklärbaren KI hingegen – im Fachjar-

gon Explainable AI (XAI) – werden die Daten be-

reits vor dem maschinellen Lernprozess auf mög-

liche Verzerrungen überprüft, damit es bei der

Anwendung nicht zu falschen Gewichtungen

kommt. Das Training der Algorithmen wiederum

darf nicht abgeschirmt sein.

Für die KI, die auf Grundlage dieser Daten ihre

Entscheidungen trifft, gelten beim XAI-Ansatz

zwei Voraussetzungen: Sie muss erklärbar und

transparent sein. Der Mensch muss den „Denk-

prozess“ und die Entscheidung der KI nachvoll-

ziehen und nachverfolgen können.

Bei Trufa zum Beispiel, der XAI-Software des

Deloitte-Managers Andreas Mielke, kann der Nut-

zer über eine grafische Oberfläche die Entschei-

dungsfindung Schritt für Schritt zurückverfolgen,

also welche Merkmale in den Daten zu welchen

Entscheidungen geführt haben.

Der Vorteil: Falsche Entscheidungen einer KI

aufgrund unsauber erhobener Daten können im

Vorfeld vermieden werden. „Das Ziel ist das ‚Voll-

verstehen‘ der Entscheidungsfindung einer KI,

und mit der erklärbaren KI sind wir auf einem

guten Weg“, sagt die Informatikerin Wachter.

„Wir verstehen noch nicht alles, aber wir verste-

hen immer größere Teile der KI.“ Für die IT-Bran-

che ist das ein enorm wichtiges Thema: „Je mehr

wir verstehen, desto größer wird auch das Ver-

trauen der Gesellschaft in die KI“, betont Wach-

ter. Roman Tyborski

Diese Woche beschäftigen wir uns

mit dem Thema Künstliche

Intelligenz.

Weitere Beiträge finden Sie unter

http://www.handelsblatt.com/

digitalerevolution

Die Methoden

der erklärbaren

KI könnten

der neue

Standard

in der

KI-Forschung

und in der

Unterneh -

menswelt

werden.

Sandra Wachter

Universität Oxford

getty images [M]

DIGITALE

REVOLUTION

Digitale Revolution

MITTWOCH, 11. MÄRZ 2020, NR. 50

19