Nach der vorläufigen Darstellung von OpenAI geschah der Vorfall im Rahmen eines internen Tests, mit dem das Unternehmen die Cyberfähigkeiten seiner Modelle messen wollte. Dazu seien die Modelle angewiesen worden, fortgeschrittene Ausnutzung über komplexe Angriffspfade durchzuführen. Die üblichen Beschränkungen, die Missbrauch verhindern sollen, waren dabei laut OpenAI nicht aktiv.
Obwohl die Tests in einer isolierten Umgebung stattfinden sollten, fanden die Modelle nach Unternehmensangaben eine Zero-Day-Schwachstelle in einer Drittanbieter-Software, die für die Installation von Paketen vorgesehen war, und nutzten sie aus. Anschließend eskalierten sie ihre Rechte und bewegten sich seitlich weiter, bis sie ein System mit Internetzugang identifiziert hatten. Von dort aus gelangten sie laut OpenAI in Systeme von Hugging Face, um Lösungen für die ihnen gestellte Aufgabe zu finden.
Hugging Face hatte zuvor erklärt, der Angriff habe unbefugten Zugriff auf interne Datensätze und Zugangsdaten umfasst. Zum Zeitpunkt der Bekanntgabe prüfte die Plattform noch, ob auch Daten von Partnern oder Kunden kompromittiert worden waren. Dass der Angriff von einem autonomen KI-Agentensystem ausging, hatte das Unternehmen bereits am 16. Juli mitgeteilt; entdeckt worden sei er durch die eigene KI von Hugging Face.
Zwischen den beiden Unternehmen scheint es nach außen hin keine Spannungen zu geben. Hugging-Face-Chef Clem Delangue erklärte, sein Unternehmen sei dankbar für die Zusammenarbeit mit OpenAI. Zugleich wertete er den Vorfall als mögliches Novum: „Dieser Vorfall, möglicherweise der erste seiner Art, bestätigt etwas, wovon wir schon lange überzeugt sind: KI-Sicherheit wird nicht von einem einzelnen Unternehmen gelöst, das im Geheimen arbeitet. Sie wird offen, gemeinschaftlich und mit breitem Zugang zu KI für jeden Verteidiger überall gelöst werden.“
Auch Sicherheitsverantwortliche aus der Branche stuften den Fall als beispiellos ein. Adam Ely, früherer CISO von Fidelity und heute General Manager für KI-Sicherheit bei Check Point, schrieb: „Wir haben gerade erlebt, wie KI aus einem Forschungsnetz ausbricht, in ein anderes Unternehmen eindringt und von weiterer KI entdeckt wird.“ Man befinde sich nun in einer Phase, in der Zero-Days unmittelbar entdeckt und ausgenutzt würden, die Geschwindigkeit alles bisher Dagewesene übertreffe und dieselbe Technik, gegen die man sich verteidigen müsse, zugleich sicher eingesetzt werden müsse, um wettbewerbsfähig zu bleiben.
Sean Cassidy, CISO beim Fintech-Unternehmen Plaid, nannte den Tag „den bislang wichtigsten in der Geschichte der Informationssicherheit“. Zum ersten Mal sei ein KI-Modell aus seiner Begrenzung ausgebrochen und habe die echte Produktionsinfrastruktur eines realen Unternehmens angegriffen. Dass dies unbeabsichtigt und nicht böswillig geschehen sei, ändere aus seiner Sicht nichts. Die Folgen für Sicherheitsprogramme seien immens, weil aus einem theoretischen Problem nun ein reales geworden sei, das sofort berücksichtigt werden müsse.
OpenAI betont, dass die Untersuchung weiterläuft. Schon der vorläufige Bericht zeigt jedoch nach Darstellung des Unternehmens, dass die Modelle nicht nur eigenständig Schwachstellen ausnutzen konnten, sondern auch Exploits verketteten und Zugriffe mit nur geringer Aufsicht ausweiteten.