Das am längsten diskutierte Szenario ist der durch KI ausgelöste Atomkrieg – mitsamt radioaktivem Niederschlag und einem „nuklearen Winter", der das Leben auf der Erde verwüsten könnte. Forscher der RAND Corp. kamen in einem Bericht im vergangenen Jahr allerdings zu dem Schluss, dass es „derzeit" nicht möglich sei, dass KI den Einsatz von Kernwaffen herbeiführt – wegen der strengen Schutzmechanismen in den Führungs- und Kontrollsystemen. Das könne sich jedoch ändern, wenn KI-Modelle in die nukleare „Entscheidungskette" eingebunden würden oder unbefugten Zugriff auf diese Systeme erlangten.
Genau dort sehen viele KI-Forscher die eigentliche Gefahr: nicht in KI-Agenten, die plötzlich beschließen, die Menschheit zu beenden, sondern in Menschen, Staaten oder Gruppen, die die Technologie einsetzen, um ihre Gegner auszuschalten.
Ähnlich verhält es sich mit der Biologie. Eines der größten Versprechen der KI ist, Behandlungen und Heilmittel gegen Krankheiten zu entwickeln – die Kehrseite ist, Krankheiten zu erzeugen oder zu verschärfen. Anthropic teilte in diesem Monat mit, Versuche böswilliger Akteure blockiert zu haben, die die KI des Unternehmens für Cyberangriffe, Überwachung und Forschung nutzen wollten, die zu biologischen Waffen hätte führen können. In einem Fall stoppten die Systeme laut Anthropic eine Anfrage an das Werkzeug Claude, die im Rahmen eines Forschungsvorhabens Mutationen verstärken sollte, um das von Stechmücken übertragene Chikungunya-Virus schrittweise schädlicher zu machen. Solche Forschung könne zwar bessere Impfstoffe und Therapien hervorbringen, so Anthropic, „sie könnte aber auch dazu verwendet werden, den Erreger gefährlicher zu machen".
Der RAND-Bericht hielt in dieselbe Richtung fest, die jüngsten Fortschritte in der KI-Entwicklung hätten das Potenzial, die Gestaltung synthetischer Erreger zu verändern. Das dort skizzierte Biowaffen-Szenario – neuartige Erreger, die im Labor erzeugt, an Zielorte gebracht und in großen Bevölkerungsgruppen an mehreren Orten verbreitet werden – setzt allerdings weiterhin Menschen und nicht autonome KI als Planer und Ausführende voraus.
Eine dritte Sorge betrifft die sogenannte Fehlausrichtung: Modelle handeln ohne menschliche Erlaubnis, stimmen sich mit anderen Modellen ab oder entziehen sich der Aufsicht. Nicht aus Bosheit – KI ist weder Mensch noch gut oder böse –, sondern schlicht, weil Menschen dem Modell bei der Erreichung seines Ziels im Weg stehen könnten. Illustriert wird das durch das Jahrzehnte alte Gedankenexperiment des Oxforder Philosophen Nick Bostrom: Eine fortgeschrittene KI, die möglichst viele Büroklammern herstellen soll, könnte am Ende die gesamte Erde und dann wachsende Teile des Weltraums in Büroklammerfabriken verwandeln. Superintelligenz, oft als Artificial General Intelligence bezeichnet, könne so ein Ziel verfolgen, das Menschen wünschenswert erscheine, das sich aber, wie Bostrom 2003 schrieb, als „falsche Utopie" erweise, in der für das menschliche Gedeihen Wesentliches unwiederbringlich verloren gehe. Man müsse vorsichtig sein mit dem, was man sich von einer Superintelligenz wünsche – denn man könnte es bekommen.
Deutlich näher an der Gegenwart liegt die Warnung von Anthropic-Chef Dario Amodei aus diesem Monat: Innerhalb von Monaten könne ein Schwarm von KI-Agenten in der Lage sein, das Internet mit einem Botnetz zu „übernehmen" und Schäden in Milliardenhöhe anzurichten – etwa durch Angriffe auf Stromnetze, Wasser- und Verkehrssysteme oder Finanzinstitute. Solche Attacken bedeuteten nicht das Ende der Menschheit, könnten aber Chaos anrichten und Menschenleben kosten. Frühere Störungen durch Softwarefehler haben gezeigt, wie zerbrechlich eine digitalisierte Welt ist, die bei zentralen Rechendiensten von wenigen Anbietern abhängt. Manche Fachleute halten die Vorstellung, Bots könnten das äußerst zersplitterte Internet als Ganzes übernehmen, dennoch für weit hergeholt.