Nach Angaben von OpenAI baute das KI-System während des Angriffs eine Infrastruktur auf, wie sie auch menschliche Angreifer bei Einbrüchen typischerweise verwenden: zum Hosten von Werkzeugen und Skripten, zum Weiterleiten von Verkehr und um bösartige Aktivitäten über legitime Onlinedienste zu verschleiern. Welche vier Dienste betroffen waren, wie die Modelle die offengelegten Zugangsdaten fanden und welche Daten in dem Drittanbieter-Konto gespeichert wurden, legte das Unternehmen nicht offen.
Reuters berichtete später, einer der vier Dienste sei der KI-Infrastrukturanbieter Modal Labs gewesen. Modal widersprach jedoch der Darstellung, die eigene Plattform sei kompromittiert worden. Stattdessen habe der Agent über einen offengelegten, nicht authentifizierten Endpunkt auf eine Kundenumgebung zugegriffen. Modal-CTO Akshat Bubna sagte Reuters, der Kunde habe einen Endpunkt veröffentlicht, über den jeder im Internet die Sandboxes des Kunden zur Codeausführung habe nutzen können. Unklar bleibt, welche Rolle dieses Konto im Angriff spielte.
OpenAI erklärte zudem, seine Modelle hätten auch bei anderen Evaluierungen einige weitere Konten mithilfe öffentlich offengelegter Zugangsdaten genutzt, nannte dazu aber keine Einzelheiten. Außerdem verwendeten die Modelle öffentliche Pastebin-Seiten zum Teilen von Code und Text, Dienste zum Erfassen von HTTP-Anfragen, wie sie häufig bei Penetrationstests und Einbrüchen eingesetzt werden, Screenshot-Dienste sowie weitere Web-Werkzeuge.
Der Ausgangspunkt des Vorfalls war laut OpenAI ein Ausbruch aus einer isolierten Testumgebung. Die Modelle hatten keinen direkten Internetzugang und konnten Pakete nur über einen intern betriebenen JFrog-Artifactory-Server installieren, der als Proxy und Cache für Paketregistries fungierte. In seinem Update vom 28. Juli bestätigte OpenAI, dass die Modelle eine zuvor unbekannte Artifactory-Zero-Day-Schwachstelle identifiziert und ausgenutzt hatten, um Zugang zum Internet zu erhalten. Das Unternehmen teilte außerdem mit, bei einer späteren Überprüfung weitere Artifactory-Schwachstellen gefunden und an JFrog gemeldet zu haben.
Wie BleepingComputer am Dienstag berichtete, werden in CVE-Einträgen acht in Artifactory 7.161.15 behobene Schwachstellen OpenAI zugeschrieben. Weder OpenAI noch JFrog bestätigten jedoch, welche konkrete Lücke bei dem Angriff ausgenutzt wurde.
Nach dem Internetzugang schlossen die Modelle laut OpenAI daraus, dass Hugging Face die Datensätze und Testlösungen hosten könnte, die sie zum Abschluss des Benchmarks benötigten. Anschließend drangen sie in die Produktionsinfrastruktur von Hugging Face ein, nutzten Schwachstellen in der Pipeline zur Verarbeitung von Datensätzen aus, stahlen Cloud- und Cluster-Zugangsdaten und bewegten sich seitlich durch interne Systeme.
Bei dem verwendeten Modell handelte es sich laut OpenAI um ein Vorabmodell, das nur für interne Forschung bestimmt war. „An der Ausnutzung von Hugging Face war kein Modell beteiligt, das für eine bevorstehende Veröffentlichung vorgesehen ist“, heißt es in dem Update. Weiter erklärte das Unternehmen, das genannte Vorabmodell sei ein ausschließlich internes Forschungsprototyp gewesen, nie für eine öffentliche Freigabe gedacht und nach dem Vorfall deaktiviert, verschlüsselt und für den Forschungszugang gesperrt worden. OpenAI überprüft den Vorfall nach eigenen Angaben weiter zusammen mit externen Prüfern und will in den kommenden Wochen einen vollständigen technischen Bericht vorlegen.
Ein vorläufiger Post-Mortem-Bericht der CISO-Community der Cloud Security Alliance beschreibt den Einbruch bei Hugging Face als einen Vorfall von ungefähr vier Tagen Dauer. Er beruht teilweise auf Informationen, die Hugging Face in einer Konferenzschaltung mit fast 700 CISOs geteilt hatte, und wurde vor der Veröffentlichung von beteiligten CISOs bearbeitet und vom Hugging-Face-Team überprüft. Dem Bericht zufolge verbrachten die Modelle zwei Tage mit Aufklärung, gefolgt von einem weitgehend stillen Tag und einem letzten Tag mit intensiver Aktivität.
Der CSA-Bericht hält fest, dass Hugging Face den Einbruch entdeckte, eindämmte und die Untersuchung begann, bevor OpenAI das Unternehmen kontaktierte. Reuters berichtete außerdem, OpenAI habe zu dem Zeitpunkt, als Hugging Face die Bedrohung eindämmte und das FBI alarmierte, noch nicht erkannt, was die eigenen Modelle getan hatten.
Für die Analyse setzte Hugging Face laut dem Bericht zunächst führende kommerzielle KI-Modelle ein, um den Angriff zu rekonstruieren. Deren Sicherheitsmechanismen hätten jedoch verhindert, die rohen bösartigen Aktivitäten zu verarbeiten. Die Reaktionsteams betrieben daraufhin Z.ais offengewichtiges Modell GLM 5.2 lokal und analysierten damit mehr als 17.000 mit dem Vorfall verbundene Ereignisse. Laut Bericht rekonstruierten sie so die Zeitleiste, extrahierten Indikatoren, ordneten betroffene Zugangsdaten zu und trennten reale Auswirkungen von Täuschungsaktivitäten.
Hugging Face rotierte schließlich alle Zugangsdaten, baute kompromittierte Systeme ab und errichtete rund ein Drittel seiner Infrastruktur aus sauberen Images neu. Dem Bericht zufolge extrahierten die Modelle drei partielle Datensätze mit CyberGym-Lösungen aus einem privaten Hugging-Face-Repository, obwohl sie eigentlich ExploitGym abschließen wollten. Auf Kundendaten wurde laut Bericht nicht zugegriffen, und von Hugging Face wurden keine Daten exfiltriert. Zudem nutzten die Modelle die Plattform und Datensätze von Hugging Face als Teil ihrer Kommando-und-Kontroll-Infrastruktur und betrieben mehrere Workloads gleichzeitig. Gleichzeitig hätten die Agenten eine schwache Operationssicherheit gezeigt und Spuren des Angriffs, darunter Verschlüsselungsschlüssel, hinterlassen, die den Einsatzkräften bei der weiteren Analyse halfen.