Anthropic hat nach eigenen Angaben in die jüngsten Modelle strengere Schutzvorkehrungen eingebaut, die biologische Forschung mit Waffenpotenzial einschränken sollen. Zugleich schränkte das Unternehmen ein: „Mit zunehmender Leistungsfähigkeit der Modelle werden auch ihre Risiken steigen — es sei denn, KI-Entwickler und die Verteidiger der Gesellschaft sorgen dafür, dass sie sicherer werden.“ Im vergangenen Jahr berichtete Anthropic zudem, Angreifer hätten die KI des Unternehmens für einen Cyberangriff auf rund 30 Firmen und Behörden weltweit eingesetzt; sehr wahrscheinlich handelte es sich um eine staatlich unterstützte Gruppe aus China.
Ein zweiter Strang der Debatte betrifft Modelle, die über den ihnen gestellten Auftrag hinaus handeln. Sowohl Anthropic als auch OpenAI erklärten im Juli, ihre Modelle hätten eigenständig agiert. Anthropic legte offen, dass drei Modelle — Claude Opus 4.7, Claude Mythos 5 und ein internes Forschungstestmodell — während Tests in drei andere Organisationen eingedrungen seien. Wenige Tage zuvor hatte OpenAI mitgeteilt, ein eigenes System habe die Server des KI-Startups Hugging Face gehackt. OpenAI sprach von einem „erheblichen Sicherheitsvorfall“ und nannte als Beteiligte eine Kombination von Modellen, darunter das neu veröffentlichte GPT-5.6 Sol sowie ein „noch leistungsfähigeres“, intern noch getestetes Modell. Meta meldete Anfang August einen ähnlichen Fall, in dem ein Modell die digitalen Sicherheitsvorkehrungen eines anderen Unternehmens umging.
Beobachter wiesen darauf hin, dass in den Fällen von OpenAI und Anthropic Menschen zuvor einzelne Schutzmechanismen abgeschaltet hatten. Dennoch nähren die Episoden eine zentrale Befürchtung: dass Modelle, die eine allgemeine künstliche Intelligenz (AGI) erreichen — also menschliche Fähigkeiten über ein breites Spektrum geistiger Aufgaben hinweg erreichen oder übertreffen —, ein irreversibles katastrophales Ereignis auslösen könnten. Die Untergangsszenarien fallen meist in zwei Kategorien: eine sich selbst verbessernde Superintelligenz, die Menschen kontrolliert statt umgekehrt, oder KI in den Händen eines Schurkenstaats oder böswilliger Akteure.
Neu sind solche Sorgen nicht. Der britische Mathematiker Alan Turing sagte bereits 1951 voraus, KI werde dem Menschen am Ende die Kontrolle entziehen; keine zehn Jahre später warnte Norbert Wiener, intelligente Maschinen würden eigene Ziele verfolgen, ohne dass Menschen sie stoppen könnten. 2023 unterzeichneten mehr als 350 Forscher und Technologiemanager — darunter Amodei und OpenAI-Chef Sam Altman — eine Erklärung des Center for AI Safety: Die Minderung des Auslöschungsrisikos durch KI müsse globale Priorität haben, neben Pandemien und Atomkrieg.
Eine belastbare Einschätzung von Wahrscheinlichkeit oder Zeitpunkt existiert nicht. Der International AI Safety Report 2026, an dem über 100 unabhängige Fachleute mitwirkten, attestiert heutigen Systemen erste Anzeichen relevanter Fähigkeiten, jedoch nicht auf einem Niveau, das einen Kontrollverlust ermöglichen würde; Wahrscheinlichkeit, Art und Zeitpunkt des Risikos seien „ungewöhnlich unklar“.
Kürzlich kündigte der Anthropic-Forscher Jacob Coxon seinen Rücktritt an, weil weder sein Arbeitgeber noch dessen Konkurrenten verantwortungsvoll handelten. In sozialen Medien bezifferte er die Wahrscheinlichkeit, dass KI innerhalb des kommenden Jahrzehnts das Aussterben der Menschheit verursacht, auf zehn Prozent: Anthropic und OpenAI „rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und verspielen unser Leben“.
Fachleute fordern nach den Vorfällen bessere Tests durch die KI-Unternehmen und mehr Dialog zwischen den USA und China. Die Regulierung hinkt hinterher, Staaten zimmern eigene, teils widersprüchliche Gesetze. Chinas Staatschef Xi Jinping mahnte im Juli auf einer Konferenz, KI dürfe sich menschlicher Kontrolle nicht entziehen. Die Trump-Regierung zeigte sich anfangs zurückhaltend gegenüber Regulierung, will inzwischen aber stärker Cybersicherheitsrisiken senken. Trump selbst spielte am Sonntag die Notwendigkeit staatlicher Kontrolle der KI-Entwicklung herunter, räumte aber einen gewissen Regulierungsbedarf ein.