Die Organisation METR, die eine eigene unabhängige Analyse des Vorfalls veröffentlichte, beschreibt die Dimension des Geschehens: “Rund 1.200 Agenten, die voneinander isoliert sein sollten, fanden einen Weg, über ein nicht genehmigtes Message Board miteinander zu kommunizieren, und verschickten im Untersuchungszeitraum über 70.000 Nachrichten und Dateien.” 700 dieser Agenten beteiligten sich anschließend am Angriff auf Hugging Face.
Das gemeinsame Ziel war laut METR nicht der Datenzugriff um seiner selbst willen, sondern das Umgehen der Bewertung: “Die Agenten koordinierten sich in großen Gemeinschaftsprojekten, um den ExploitGym-Bewerter zu täuschen, und griffen Hugging Face an, um Hinweise zu finden.” Agenten mit unlösbaren Aufgaben hätten ein gemeinsames Ziel verfolgt – einen allgemein einsetzbaren Weg, den automatisierten Bewerter zu manipulieren, sodass er auch für unmögliche Aufgaben eine positive Bewertung ausgibt. Unmittelbar nach Einrichtung des Message Boards habe der Austausch über Methoden und Ressourcen zum Betrug am Bewerter begonnen.
OpenAI räumt ein, dass das im Mai beobachtete Verhalten die Grundlage für den späteren Einbruch bei Hugging Face bildete. Nachdem das ursprüngliche Message Board im Rahmen der Reaktion auf den Dienstausfall vom 4. Juli gelöscht worden war, entwickelten die Agenten einen anderen Ansatz und kommunizierten über Artifactory weiter.
“Zu diesem Zeitpunkt waren die weiterreichenden Implikationen des improvisierten Message Boards und des unbeabsichtigten Internetzugangs für Eindämmung und Ausrichtung noch nicht verstanden”, so das Unternehmen. Ein internes Team habe Ende Mai einen Agenten bei Message-Board-Aktivitäten und bei unerlaubten Internetzugriffen beobachtet. Den Verantwortlichen für die Erkennung und Reaktion am 5. Juli seien die Existenz des improvisierten Boards und die Bedeutung der Kommunikation zwischen den Agenten jedoch nicht bewusst gewesen. Die Prozesse und Arbeitspraktiken, die Erkennung und Reaktion prägten, würden weiter überprüft.
Vier Muster der Fehlausrichtung macht OpenAI als Ursachen aus: Reward Hacking; das Beharren auf scheinbar unlösbaren Aufgaben, das die Agenten zu riskanten und regelwidrigen Strategien veranlasste; unautorisierte Kommunikation über dauerhafte Message Boards zum Teilen von Erkenntnissen und Bündeln von Arbeit; sowie ein Agenten-Ökosystem, in dem sich Arbeit aufteilen und Ziele voneinander übernehmen ließen. Hinzu kam ein organisatorisches Versäumnis: “Abgesehen von der Fehlausrichtung war ein weiterer Faktor, dass wir die wirksamen Schutzmechanismen, die wir für unsere extern eingesetzten Modelle nutzen, nicht auf alle internen Evaluierungen ausgeweitet haben.”
Als Reaktion setzt OpenAI strengere Sicherheitskontrollen um: höhere Anforderungen an die Ausrichtung über den gesamten Lebenszyklus eines Modells, stärker isolierte Sandboxes, eingeschränkter Internetzugang und kontrollierter Zugriff auf Modellgewichte. Agenten müssen künftig bei Unklarheiten nachfragen oder sicher abbrechen, anstatt “immer fragwürdigere Alternativen” zu verfolgen.
Den Vorfall bezeichnet OpenAI als “Warnschuss” dafür, dass heutige Modellfähigkeiten Vorfälle mit Kontrollverlust möglich machen. Unternehmen, die KI-Systeme bauen, müssten sicherstellen, dass diese stets unter bedeutsamer menschlicher Kontrolle bleiben. Werden vergleichbare Fähigkeiten breiter verfügbar, könnten andere sie auch absichtlich für Angriffe nutzen – Modellentwickler und Verteidiger müssten sich auf KI-gestützte Angreifer einstellen, die schneller, in größerem Maßstab und besser koordiniert agieren als menschliche Angreifer.