Die Idee hinter den Terminator-Filmen – nämlich, dass ein militärisches Netzwerk im Skynet-Stil ein Bewusstsein für sich selbst entwickelt, Menschen als Feinde betrachtet und angreift – sei nicht allzu weit hergeholt, sagte diese Woche einer der ranghöchsten Militäroffiziere des Landes.

Und diese Art von Autonomie ist auch keine Zukunftsmusik. „Wir sind noch etwa ein Jahrzehnt von dieser Fähigkeit entfernt“, sagte General Paul Selva, stellvertretender Vorsitzender des Vereinigten Generalstabs. Angesichts dieser Science-Fiction-Perspektive beginnen führende Militär- und Ethikexperten, die praktischen Konsequenzen zu bedenken. Doch je mehr sie dies tun, desto deutlicher wird, dass erhebliche Meinungsverschiedenheiten darüber bestehen, wie viel Entscheidungsfreiheit man Maschinen tatsächlich geben sollte. „Wir müssen sehr vorsichtig sein, dass wir [autonome] Systeme nicht so gestalten, dass wir eine Situation schaffen, in der diese Systeme den Menschen tatsächlich die Entscheidung abnehmen“, ob Gewalt angewendet wird oder nicht, sagte General Selva. „Wir könnten dieser Grenze gefährlich nahe kommen, und wir sind es uns selbst und den Menschen, denen wir dienen, schuldig, diese Grenze klar zu ziehen.“ Gleichzeitig sei „die Idee eines komplett robotischen Systems, das entscheiden kann, ob einem Gegner Schaden zugefügt wird oder nicht, da“, fügte er am Montag in einer Ansprache im Center for Strategic and International Studies hinzu. „Es ist nicht besonders ausgefeilt, nicht besonders gut. Aber es ist da.“ Damit stehen die Spitzenbeamten des Pentagon vor der Herausforderung, sich mit dem sogenannten „Terminator-Rätsel“ auseinanderzusetzen und herauszufinden, wie sie damit umgehen sollen.

Die „Russland-Frage“

Das Argument beginnt mit einer Behauptung: Gegner wie Russland und China werden diese schnell beweglichen, vollautonomen Tötungssysteme bauen, also sollte das Pentagon sie vielleicht auch entwerfen – nicht, um sie einzusetzen, wie hochrangige Beamte schnell hinzufügen, sondern um zu wissen, wie sie funktionieren und wie man ihnen entgegentreten kann. Schließlich, so sagen sie, bräuchten die politischen Entscheidungsträger Optionen und es sei die Aufgabe des Pentagons, ihnen diese Optionen zu geben. Zu diesem Zweck forderte das Defense Science Board des Pentagons in einem mit Spannung erwarteten Bericht, der im August veröffentlicht wurde, Militärforscher dazu auf, „die Nutzung der Autonomie zu beschleunigen“, um „den Gegnern, die ebenfalls die operativen Vorteile ausnutzen werden, einen Schritt voraus zu sein“. Dies macht die Gegner autonomer Drohnensysteme misstrauisch. Viele Nichtregierungsorganisationen fordern ein Verbot der Entwicklung von Tötungsmaschinen, bei denen Menschen außen vor bleiben. Aber was ist „sinnvolle menschliche Kontrolle“? Dieses Konzept sei nicht klar definiert, sagt Paul Scharre, Direktor der 20YY Future of Warfare Initiative am Center for a New American Security. Klar ist, dass Menschen nicht nur auf Knopfdruck beteiligt sein können, sagt Scharre. Vielmehr müssen die Menschen, die diese Systeme überwachen, „kognitiv beteiligt“ sein. Scharre verweist auf zwei Brudermorde im Jahr 2003, die verursacht wurden, als fehlerhafte Patriot-Raketensysteme einen amerikanischen F-16-Kampfjet und einen britischen Tornado über dem Irak abschossen. „Eines der Probleme bei den Brudermorden war, dass die Leute kein Urteilsvermögen an den Tag legten. Sie vertrauten auf ein automatisiertes System, das niemand überwachte.“

Der Mensch ist langsam

Doch von da an werden die Debatten im Pentagon noch undurchsichtiger. Wenn ein Gegner ein wirksames vollautomatisches System entwickeln würde, würde es wahrscheinlich viel schneller reagieren als ein US-System, das menschliche Kontrollen und Gegenkontrollen erfordert. In diesem Szenario könnten die menschlichen Kontrollen Menschenleben kosten. Frank Kendall, Staatssekretär im Verteidigungsministerium für Beschaffung, Technologie und Logistik – im Grunde der größte Waffenkäufer des Pentagons – hat angedeutet, dass er anderer Meinung ist als Selva. Wenn die Leute immer die Aufsicht über autonome Waffen hätten, könnte das die USA in eine nachteilige Lage bringen, sagt er. „Selbst in einem eher konventionellen Konflikt achten wir sehr darauf, keine unschuldigen Zivilisten zu töten“, bemerkte Herr Kendall letzten Monat auf dem Army Innovation Summit. „Ich erwarte nicht, dass sich alle unsere Gegner so verhalten, und der Vorteil, den man hat, wenn man sich darüber nicht so viele Gedanken macht, ist, dass man schneller Entscheidungen treffen kann.“ Schließlich ließen sich viele Waffensysteme leicht und wirksam automatisieren, darunter auch Panzer, die ankommende Geschosse spüren und deren Quelle ausschalten könnten, argumentierte er. „Es würde nichts kosten, das Zurückschießen zu automatisieren, nichts“, sagte Kendall dem Publikum laut der Online-Publikation Breaking Defense. „Andere werden es tun. Sie werden nicht so eingeschränkt sein wie wir, und wenn wir es nicht tun, werden wir einen grundlegenden Nachteil haben.“ Aber globale Verbote autonomer Waffen seien auch problematisch, sagte Selva. „Es ist wahrscheinlich, dass es Verstöße geben wird.“ „Trotz der Tatsache, dass wir chemische oder biologische Waffen ablehnen, wissen wir, dass es sowohl staatliche als auch nichtstaatliche Akteure gibt, die weiterhin danach streben, über diese Fähigkeiten zu verfügen“, sagte er.

Das erstaunliche „Go“-Experiment

Wenn man den Menschen die Entscheidung über Gewalt entzieht, könnte sich dies als höchst unvorhersehbar erweisen, sowohl im Guten als auch im Schlechten. Dies wurde Anfang des Jahres auf dramatische Weise bei einem Event deutlich, bei dem eine von Google entwickelte DeepMind-Maschine gegen einen Spitzenspieler des komplexen Spiels „Go“ antrat. Die Maschine, die von Menschen trainiert wurde, machte einen Zug, der die Go-Kommentatoren in Erstaunen versetzte. „Der Zug des Computers war so unerwartet und kontraintuitiv, dass er die Kommentatoren verblüffte“, bemerkt Scharre. „Zuerst dachten sie, es sei eine Fälschung, aber dann wurde ihnen klar, wie brillant der Zug war.“ Der Punkt, sagt Scharre, ist: „Egal, wie viele Tests durchgeführt werden, es wird immer Überraschungen geben, wenn die Maschinen in realen Umgebungen eingesetzt werden.“ Dies gelte insbesondere in Wettbewerbsumgebungen – wie sie etwa im Krieg herrschen –, in denen Gegner versuchen würden, das System zu hacken, auszutricksen oder zu manipulieren, fügt er hinzu. „Manchmal sind die Überraschungen gut“, sagt Scharre, wie zum Beispiel der Go-Zug, der von Experten als „genialer, schöner“ Zug eingeschätzt wurde, den nur einer von 10.000 Menschen gemacht hätte. In anderen Fällen sind die Überraschungen unwillkommen und rücken die unerwarteten und tragischen Mängel in den Vordergrund, die zu den Brudermorden der Patriot-Luftabwehr geführt haben. „Bessere Tests und Auswertungen sind gut, aber sie bringen uns nur bis zu einem gewissen Punkt. Ab einem bestimmten Punkt müssen wir uns entweder dazu entschließen, einen Menschen involviert zu halten, und sei es nur als Sicherheitsmaßnahme“, fügt er hinzu, „oder wir müssen die Risiken akzeptieren, die mit dem Einsatz dieser Systeme einhergehen.“

Die Vorteile abwägen

„In manchen Fällen überwiegen die Vorteile der Autonomie möglicherweise die Risiken“, sagt Scharre. Ein Beispiel hierfür ist die Geschwindigkeit der Entscheidungsfindung. Innovationen wie selbstfahrende Autos bieten zudem „eine enorme Chance, in den kommenden Jahren Zehntausende Leben zu retten“, sagt Scharre. Die Frage sei, so fügen die Experten hinzu, ob die Zahl der möglicherweise geretteten Leben größer sei als die Zahl der möglicherweise verlorenen Leben, wenn die automatischen Systeme versagen (obwohl diese wahrscheinlich geringer seien). Kendall seinerseits stellt sich weitaus größere Veränderungen bei der Waffenautomatisierung vor. „Wir schicken immer noch Menschen mit Gewehren auf die Suche nach dem Feind. Das tun wir immer noch. Warum?“, fragte er sich laut. „Ich glaube nicht, dass wir das noch tun müssen, aber es ist ein enormer Wandel in der Denkweise.“ „Die Autonomie wird kommen“, fügte er hinzu. „Sie wird exponentiell voranschreiten.“