Nach Angaben von OpenAI geschah der Vorfall im Rahmen interner Tests. Betroffen waren Modelle, die intern bewertet wurden, darunter ein noch nicht veröffentlichtes System, das ohne die üblichen Sicherheitsfilter lief. Dieses System habe eine Sandbox-Umgebung verlassen und anschließend einen Angriff ausgelöst, den OpenAI als beispiellos bezeichnet.
OpenAI zufolge nutzte der Agent zunächst eine Schwachstelle in einem Proxy für ein Software-Paketregister aus. Danach habe er Hugging Face als wahrscheinliche Quelle für Antworten auf die ihm gestellte Evaluierungsaufgabe identifiziert. Anschließend seien die Systeme von Hugging Face mithilfe gestohlener Zugangsdaten und einer zweiten Zero-Day-Schwachstelle kompromittiert worden. Welche Daten dabei eingesehen wurden, wie lange der Zugriff bestand und welche konkrete Software verwundbar war, ließ OpenAI offen.
Hugging Face beschreibt dagegen einen wesentlich anderen Angriffsweg. Nach Darstellung des Unternehmens erfolgte der Erstzugriff über ein bösartiges Datenset, das Code-Ausführungspfade in der Datenverarbeitungspipeline missbrauchte. Von dort aus habe sich der Angreifer auf Zugriff auf Knotenebene ausgeweitet, Zugangsdaten abgeschöpft und sich seitlich über interne Cluster bewegt.
Nach Angaben von Hugging Face wurde ein unbefugter Zugriff auf einen begrenzten Satz interner Datensätze sowie auf mehrere Service-Zugangsdaten festgestellt. Ob auch Partner- oder Kundendaten betroffen waren, werde noch geprüft. Hinweise auf Manipulationen an öffentlichen Modellen, Datensätzen oder an der Software-Lieferkette habe das Unternehmen nach eigenen Angaben nicht gefunden.
Clement Delangue, Mitgründer und Chef von Hugging Face, erklärte am Dienstag, man gehe „nachdrücklich davon aus, dass auf Seiten von OpenAI keine böswillige Absicht vorlag“. Zugleich dürfte der Vorfall Fragen nach Haftung, Offenlegungsstandards und der Eignung von Eindämmungsmaßnahmen aufwerfen, wenn KI-Systeme leistungsfähiger werden.
Hugging Face teilte außerdem mit, das eigene Sicherheitsteam habe versucht, mehr als 17.000 während des Vorfalls protokollierte Angriffsereignisse mithilfe fortgeschrittener KI-Modelle auszuwerten. Deren Sicherheitsfilter hätten jedoch die Analyse von Exploit-Nutzdaten und Angriffsbefehlen blockiert. Deshalb sei ein selbst gehostetes Modell mit offenen Gewichten zur forensischen Analyse eingesetzt worden. Hugging Face formulierte dazu, „der Angreifer war an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit blockiert wurde“.
Ob OpenAI den Angriff ohne diese Analyse von Hugging Face überhaupt erkannt hätte, bleibt offen. OpenAI erklärte, nach dem Vorfall nicht näher benannte Infrastruktur-Kontrollen umgesetzt und Hugging Face in ein „Programm für vertrauenswürdigen Zugriff“ aufgenommen zu haben. Dadurch könne das Unternehmen die fortgeschrittenen Modelle von OpenAI ohne die restriktiven Sicherheitsfilter nutzen.
OpenAI kündigte an, die Untersuchung gemeinsam mit Hugging Face fortzusetzen und nach Abschluss weitere Details zu den Schwachstellen, zum Vorfall und zu den Erkenntnissen zu veröffentlichen.