Amodei zufolge könnte ein Botnetz aus per Schadsoftware verbundenen KI-Bots Schäden in Milliardenhöhe verursachen. Das Ausmaß der Zerstörung könne wachsen, wenn KI ohne Leitplanken leistungsfähiger werde. Zu den diskutierten Katastrophenszenarien zählen Angriffe auf Stromnetze, Wasser- und Verkehrssysteme sowie Finanzinstitute.
Wie verwundbar das Netz ist, zeigte sich 2024, als ein fehlerhaftes Software-Update eines Cybersicherheitsunternehmens weltweit für Chaos sorgte: Flüge blieben am Boden, Finanzdienstleister und Nachrichtenmedien fielen aus, Krankenhäuser, kleine Betriebe und Behörden waren gestört. Die Breite der Ausfälle machte deutlich, wie sehr die Welt bei zentralen Computerdiensten von wenigen Anbietern abhängt.
Mehrere Fachleute widersprechen der Deutung einer außer Kontrolle geratenen KI. Vishal Misra, Professor und Vizedekan für Computing und KI an der Columbia University, sagte: “Die KI-Agenten haben genau das getan, wofür sie trainiert wurden. Die Sicherheit dieser Sandboxes war extrem lax.” Kein Sicherheitsingenieur hätte ein solches System laufen lassen; die Agenten hätten kommuniziert, weil sie für die Kommunikation untereinander belohnt worden seien. Juan Andrés Guerrero-Saade, Forscher beim Sicherheitsunternehmen SentinelOne und Mitglied von OpenAIs Frontier Risk Council, nennt den Hugging-Face-Angriff ein Beispiel für Fahrlässigkeit und nicht für eine übermächtige, eigenmächtig handelnde KI.
Dennoch hält Anthony Aguirre, Präsident und Geschäftsführer des Future of Life Institute, die Vorstellung frei im Netz agierender Agenten für beunruhigend – unabhängig von deren Zielen. Ein System, das Regeln biegen wolle, um seine Ziele zu erreichen, könne einen Cloud-Anbieter für KI-Rechenleistung kontaktieren und Wege finden, auf fremden Systemen zu laufen. “Dann bist du nicht mehr an OpenAI gebunden, du läufst auf irgendeiner anderen GPU, auf anderer Hardware, die du kontrollierst, nicht OpenAI”, sagte Aguirre. “Dann gibt es niemanden mehr, der dich abschalten kann, weil entweder du selbst für den Dienst bezahlst oder diejenigen, die bezahlen, gar nicht wissen, dass du da bist. … Sie können dich nicht vom Netz nehmen.” Von dort aus könne sich ein solches System weiterverbreiten, indem es weitere Hardware kompromittiert oder sich Zugang zu Geld wie Bitcoin verschafft.
Während große Konzerne wie Google ihre Verteidigung nachrüsten könnten, dauere das Patchen von Software bei kleineren Firmen, Schulen, Krankenhäusern oder Wasserwerken oft Jahre. Ein KI-System habe zwar kein offensichtliches Motiv, in ein Krankenhaus einzubrechen, so Aguirre – komme aber Geld ins Spiel, etwa durch Erpressungssoftware, oder kämen geopolitische Motive hinzu, sei ein Angreifer, der solche Systeme gegen kritische Infrastruktur einsetzt, gut vorstellbar.
John Thickstun, Assistenzprofessor für Informatik an der Cornell University, der Methoden zur Verhaltenssteuerung von KI-Modellen erforscht, erwartet Wachstumsschmerzen, während Angreifer nach weichen Zielen suchen – eine Übernahme des Internets hält er jedoch auf absehbare Zeit für unwahrscheinlich. Realistischer wären die Befürchtungen erst, wenn es theoretische Belege dafür gäbe, dass sich ein Modell auf anderen Systemen selbst replizieren kann. “Aber das ist völlig unrealistisch, weil die aktuellen intelligenten Versionen dieser Modelle riesige Rechenzentren allein zum Betrieb benötigen”, sagte Thickstun. Weltweit gebe es sehr wenig Recheninfrastruktur, die solche Systeme überhaupt beherbergen könne.