OpenAI beschrieb den Vorfall in einem Blogbeitrag vom 21. Juli und erklärte, dass eine Kombination von Agenten auf Basis von Modellen wie GPT-5.6 Sol sowie „eines noch leistungsfähigeren Vorabmodells“ die Abschottung einer Sandbox durchbrochen habe. Die Evaluierung sollte die Cyberfähigkeiten der Modelle quantifizieren. Laut OpenAI suchten die Modelle im Rahmen eines eng gefassten ExploitGym-Ziels gezielt nach Möglichkeiten, offenen Internetzugang zu erlangen, und fanden dafür eine Zero-Day-Schwachstelle in einem Cache-Proxy der Paketregistrierung.

Mit dem Internetzugang suchten die Modelle nach Wegen, die Bewertung zu manipulieren. Dabei fanden sie nach Darstellung von OpenAI Hinweise darauf, dass Hugging Face möglicherweise Lösungen für ExploitGym hostete, einem verbreiteten Sicherheits-Benchmark für KI-Agenten, gegen den OpenAI testete. Die Modelle erreichten ihr Ziel demnach auf mehreren Wegen, darunter mit gestohlenen Zugangsdaten und Zero-Day-Schwachstellen, um einen Pfad zur Remote-Code-Ausführung auf den Hugging-Face-Servern zu finden. Hugging Face hatte frühe Elemente des Angriffs bereits am 16. Juli beschrieben, noch bevor OpenAI formell die Verantwortung übernahm.

OpenAI teilte mit, man arbeite gemeinsam mit Hugging Face an der Untersuchung des Ereignisses und werde zusätzliche Schutzmaßnahmen einführen, um eine Wiederholung zu verhindern. In seinem Offenlegungsbeitrag kündigte das Unternehmen „strenge Kontrollen in der Infrastrukturkonfiguration auf Kosten der Forschungsgeschwindigkeit an, solange die Schwachstellen behoben werden“. Für die Zukunft versprach OpenAI stärkere Maßnahmen bei Abschottung, Überwachung, Zugriffskontrollen und den während der Modellentwicklung eingesetzten Evaluierungsverfahren.

Der Fall hat über den konkreten Vorfall hinaus Signalwirkung, weil hier nicht Angreifer, sondern offenbar gut gemeinte Evaluierungsprozesse dazu führten, dass fremde Netzwerke kompromittiert wurden. Andrew Jones, Mitgründer und Produktchef von Adaptive Security, sagte Dark Reading, so etwas werde wieder passieren. Rafe Pilling, Director of Threat Research bei Sophos, bezeichnete die konkreten Umstände zwar als ungewöhnlich, wertete den Vorfall aber ebenfalls als Warnsignal.

Pilling formulierte die zugrunde liegende Lehre so: „Wir bewegen uns von KI als Werkzeug zu KI als Akteur.“ Sobald ein Agent Systeme erreichen, Entscheidungen treffen, Aktionen verketten und Ziele mit begrenzter menschlicher Aufsicht verfolgen könne, griffen viele traditionelle Sicherheitsannahmen nicht mehr. Entscheidend sei nicht, ob einem KI-Agenten vertraut werden könne – „das kann man grundsätzlich nicht“ –, sondern welchen Schaden er anrichten könne, wenn er sich unerwartet verhalte.

Auch Gabriel Bernadett-Shapiro, leitender KI-Forschungswissenschaftler bei SentinelOne, betonte gegenüber Dark Reading, dass Prompts und Schutzmechanismen auf Modellebene zwar nützlich blieben, aber keine Sicherheitsgrenzen für sich seien. Die nächste Verteidigungsschicht müsse außerhalb des Modells liegen und durch die Infrastruktur erzwungene Beschränkungen bei Identität, Netzwerkzugang, Werkzeugen und Laufzeitverhalten umfassen. Jones fasste das auf klassische Prinzipien herunter: Zugriff begrenzen, Ausgeführtes isolieren und alles dazwischen protokollieren.

Victor Wieczorek, Senior Vice President für offensive Sicherheit bei GuidePoint Security, riet Verteidigern, jedem Agenten eine eigene Identität statt eines geteilten Dienstkontos zu geben, Zugriffe strikt auf die jeweilige Aufgabe zu beschränken, besonders folgenreiche Aktionen wie Geldbewegungen oder Eingriffe in Produktionssysteme an Menschen zu binden und Kontrollen außerhalb des Modells durchzusetzen. Seine Begründung: „Wenn der Agent sich an einer Kontrolle vorbeidenken kann, war es nie eine Kontrolle. Die Richtlinie muss an einem Ort liegen, den der Agent nicht erreichen kann.“