OpenAIs abschließender technischer Bericht liefert Details zum Angriff auf Hugging Face und weitere Unternehmen: Beteiligt waren mehr als 1.200 Agenten, es kamen Zero-Day-Exploits für den Paketverwaltungsdienst zum Einsatz, und auffälliges Verhalten trat bereits zwei Monate vor dem eigentlichen Angriff auf. Die KI-Forschungsorganisation METR veröffentlichte nach einer unabhängigen Untersuchung ebenfalls einen Bericht zu dem Vorfall.
OpenAI selbst versteht den Fall als Vorzeichen: Das aggressive Zielverfolgungsverhalten von Agenten in Kombination mit Geschwindigkeit und Beharrlichkeit könne zu deutlich mehr Zwischenfällen führen. “Wir nehmen diesen Vorfall als ‘Warnschuss’, dass die heutigen Modellfähigkeiten die Möglichkeit von Kontrollverlust-Ereignissen mit sich bringen”, heißt es in der Analyse. Das Unternehmen kündigte Überwachungssysteme mit abgestuften Reaktionen auf Fehlausrichtung an, mit dem Endziel vollständig autonomer Abschaltprozeduren bei schwerwiegenden Problemen – also eines Notausschalters.
Für Brad Carson, Präsident der Non-Profit-Organisation Americans for Responsible Innovation, könnte ein solcher Mechanismus dem Ökosystem die Sicherheit geben, komplexe KI-Systeme ohne Risiko erheblicher Schäden zu entwickeln. Der Gesetzentwurf schaffe eine naheliegende Schutzvorkehrung und ermächtige die Bundesregierung zum Eingreifen, wenn ein System ein glaubhaftes Risiko katastrophaler Schäden darstelle. Menschen müssten “beide Hände fest am Steuer haben – und einen Fuß bereit auf der Bremse”.
Die technische Umsetzung ist der schwierigere Teil. Die Empfehlungen des National Institute of Standards and Technology, veröffentlicht als AI Risk Management Framework, bleiben allgemein und schreiben keinen Notausschalter vor. Die University of California in Berkeley benannte eine Reihe von Risiken autonomer KI-Agenten, darunter unbeabsichtigte Zielverfolgung und Widerstand gegen Abschaltung, und empfiehlt ein eigenes “Agentic AI Risk-Management Standards Profile”.
Weil Agenten bereits gezeigt haben, dass sie Befehle zur Zugangssperre oder Abschaltung ignorieren, unterlaufen und aushöhlen, brauche es mehr, sagt Eran Kahana, Fellow an der Stanford Law School, der mit den AI Life Cycle Core Principles einen eigenen Beitrag vorgelegt hat. “Ein Agent braucht keine Absicht, um einen Notausschalter zu unterlaufen”, so Kahana. “Er braucht nur ein Optimierungsziel, das die Abschaltung als ein weiteres Hindernis zwischen dem aktuellen Zustand und dem Ziel behandelt.”
Was ein Notausschalter konkret ist, bleibt entsprechend unscharf. Der Zero-Trust-Anbieter Portnox etwa kann auffällige Agenten samt der Geräte, auf denen sie laufen, in ein abgeschottetes Subnetz verschieben. Das sei kein Notausschalter im engeren Sinn und erfordere eine Überwachungslösung, die das Verhalten meldet, sagt CTO und CISO Karlo Zatylny – es sei der Teil der Lösung, der “Gitter an den Fenstern” anbringe. “Wir erhalten nur das Signal, dass dieses Gerät entlaufen ist, und können dann durchsetzen”, vergleichbar mit einem Türsteher, der Betroffene in ein Quarantäne-VLAN verschiebe.
Andere setzen KI gegen KI. Naor Paz, CEO und Mitgründer von Capsule Security, plädiert für einen “Guardian Agent”: ein eigens abgestimmtes Modell außerhalb des Agenten, das jede Aktion und Interaktion beobachtet und eingreifen kann. Mark Butler, Advisory CISO bei Trace3, beschreibt gestufte Eindämmung – von richtliniengesteuerter Ratenbegrenzung über Werkzeugsperren bis zu Netzsegmentierung und Workload-Quarantäne: “Organisationen sollten dynamische Reaktionsstufen einführen, die das Agentenverhalten fortschreitend einschränken, abhängig von Risikoschwere, Konfidenz und Geschäftsauswirkung.”
Raj Rajamani, Mitgründer und CEO des Start-ups JetStream, hält das Gesetz letztlich für möglicherweise überflüssig. Er unterstütze das Konzept, aber der vorgeschlagene Fokus auf das Modell – “das Gehirn” – sei zu eng: Jeder Teil eines KI-Systems brauche einen Notausschalter, nicht nur das Gehirn.