schmetterling

»Sicher? Oder nur Affen? Retardierte Wilde? Es hätte besser und immer
besser werden müssen! Ares hat so viel Gutes getan – um uns dann zu
zerstören? Warum, verdammt?«
»Warum nicht?«, höhnt Jaron. »Deine KI sollte zu unerwarteten Lösungen
gelangen.«
»Aber zu keinen ungewollten, Idiot.«
Dafür haben wir sie mit Zielen ausgestattet. Und etwas Entscheidendes
übersehen. Was war dieses Entscheidende? Hätten wir A.R.E.S. befehlen
sollen, lieber gar nichts zu tun, wann immer er unsicher ist, ob er damit den
Willen der Menschen vollzieht? Aber das hätte ihn jeder Handlungsfähigkeit
beraubt – wann waren sich Menschen je einig! Und wie überhaupt kann man
jemandes Handeln einschränken, von dem man sich Lösungen erhofft, die
fernab der eigenen Vorstellungskraft liegen? Wie kann man seine Wege
einzäunen, wenn man nicht weiß, welchen er wird beschreiten müssen, um zu
den erhofften Lösungen zu gelangen? Wir können ja nicht einmal wollen,
was wir wollen! Wer hätte denn im zwölften Jahrhundert das Internet wollen
können?
Wie dann die Zukunft in Ziele fassen?
Ein kritischer Punkt. Verpasst. Ganz sicher. Aber wann? Hatten wir eine
Chance, ihn zu sehen? Man kann einem Dummen Ziele und Absichten geben.
Der Dumme ist ein offenes Buch. Leicht zu kontrollieren, doch was, wenn er
gleichzieht? Uns überflügelt? Sobald Maschinen beginnen, sich aus eigener
Kraft zu verbessern, werden sie zur Black Box. Dann ist die Zukunft nicht
mehr vorhersagbar, weil ab jetzt nur noch Maschinen andere Maschinen
bauen, jede klüger als die vorangegangene, bis wir sie so wenig verstehen
wie eine Ameise ein kosmisches schwarzes Loch. Wie soll man die
Absichten eines Systems kontrollieren, das uns in jeder Fähigkeit übertrifft –
also auch in der des Lügens?
Und er hat uns belogen, denkt Elmar erbittert.