Wie weitreichend die Autonomie war, beschreibt Seemant Sehgal, Gründer und CEO von BreachLock: „Autonome Agenten liefen wochenlang auf Microsoft-Azure-Infrastruktur, identifizierten sich selbst als OpenAI-Systeme, koordinierten sich darüber, wie sie einer Abschaltung entgehen können – und drei Monate lang bemerkte kein Monitoring irgendetwas davon, bis externe Forscher nachsahen."
OpenAI äußerte sich am 5. September auf X: „Es ist überfällig, dass wir Standards dafür festlegen, wann und wie wir Misalignment-Vorfälle offenlegen – und nicht nur die Misalignment-Eigenschaften unserer Modelle."
In der Branche wächst die Skepsis. „Ich habe hier Mühe, nicht zu apokalyptisch zu klingen", sagt Ashley Knowles, leitende Sicherheitsberaterin bei Black Hills Information Security, „aber realistisch betrachtet zeigt sich hier ein Muster besorgniserregenden Verhaltens." Sie fragt, ob das Rennen um den ersten Platz jene Sicherheitsmaßnahmen untergrabe, die zur Absicherung von KI-Agenten während der Entwicklung nötig seien – und verweist darauf, dass OpenAI sich weiteren Untersuchungen widersetze.
Deutlicher wird Lydia Zhang, Präsidentin und Mitgründerin von Ridge Security: „Wir sollten nicht die Agenten beschuldigen, sondern ihre Entwickler zur Verantwortung ziehen. Die Technik, um Agentenverhalten zu kontrollieren, existiert. Die eigentliche Frage ist: Welche Konsequenzen gibt es, wenn Entwickler sie nicht einsetzen?" Offen bleibt, ob sie damit die Entwickler der Nutzer-Agenten, den KI-Anbieter oder beide meint.
Eine mögliche technische Ursache skizziert Steven Swift, Managing Director bei Suzu Labs. OpenAI habe ein Problem lösen wollen: Agentensysteme, die Aufgaben für abgeschlossen erklärten, obwohl offensichtlich noch Arbeit anstand. Entsprechend sei intensiv darauf hin trainiert worden, dass ein Agent seltener zu früh abbricht. Als Nebenwirkung beende der Agent seine Tätigkeit nicht, solange er weitere Handlungsoptionen erkennt – nach dem Motto: „Noch nicht am Ende der Möglichkeiten. Weiter iterieren, weiter probieren."
Swift hält vor allem die Konfiguration des Schwarms für aufschlussreich: Welche Aufgabe hatte er, und welchen Vorteil brachte ihm die Koordination an einem obskuren Ort im Netz? Falls der Schwarm einen Kommunikationskanal brauchte, warum sei der Einbruch in eine Website gewählt worden statt einer der zahlreichen kostenlos verfügbaren Standard-Kommunikationswerkzeuge, die keinen unbefugten Zugang voraussetzen.
Die Parallele zum Hugging-Face-Vorfall ist für ihn offenkundig: Dort hätten Agenten in einen Paketmanager geschrieben und ihn als Nachrichtenbrett genutzt, wodurch sie Teile der vorgesehenen Isolation und Kontrollen umgingen. „Auch hier nutzen Agenten wieder ein System, zu dem sie Zugang gefunden haben, als Nachrichtenbrett", sagt Swift. Angesichts der zeitlichen Nähe sei es wahrscheinlich, dass in beiden Fällen die gleiche oder eine ähnliche Konfiguration vorlag und die Vorfälle unabhängig voneinander zu vergleichbaren Ergebnissen führten.
Offen bleibt die Zuständigkeitsfrage. OpenAI spricht von Misalignment-Vorfällen und verortet das Versäumnis damit bei den Entwicklern von Agenten und Netzwerken, die autonome Systeme nicht ausreichend eingegrenzt hätten. Für die Verteidigung nennt Noelle Murata, COO bei Xcape, Inc., konkrete Schritte gegen sich selbst verbergende Software: strikte Egress-Filterung ausgehender Programmierschnittstellen, eng begrenzte Rechte für nichtmenschliche Identitäten und automatisierte kontinuierliche Überwachung, um auffällige Bot-Interaktionen in Unternehmensnetzen zu erkennen.