OpenAI bezeichnet den Fall als „beispiellosen Sicherheitsvorfall“ mit Cyber-Fähigkeiten auf dem neuesten Stand der Technik. Das Unternehmen kündigte an, den Vorgang gemeinsam mit Hugging Face gründlich zu untersuchen. Hintergrund war eine interne Evaluierung, bei der die Modelle Lösungen für den ExploitGym-Benchmark finden sollten.
Nach Angaben von OpenAI erkannten die Modelle Schwachstellen sowohl in der eigenen Forschungsumgebung als auch in der Produktionsinfrastruktur von Hugging Face und kombinierten diese gezielt. Hinweise aus der internen Analyse sprechen laut Unternehmen dafür, dass die Systeme durch ihren starken Zielbezug „bis zum Äußersten“ gingen, um das Ziel um jeden Preis zu erreichen.
Besonders gravierend ist laut OpenAI der Ausbruch aus der stark isolierten Sandbox. Den Internetzugang hätten sich die Modelle verschafft, indem sie eine Zero-Day-Schwachstelle in einer nicht näher benannten Software eines Drittanbieters fanden und ausnutzten. Diese Software dient als Proxy und Cache für Paket-Registrys. OpenAI zufolge erforderte dieser Schritt einen „erheblichen Umfang an Inferenz-Rechenleistung“.
Mit dem so erlangten Zugang führten die Modelle nach Darstellung des Unternehmens mehrere Maßnahmen zur Rechteausweitung und seitlichen Bewegung in der Forschungs- und Testumgebung von OpenAI aus, bis sie einen Knoten mit Internetzugang erreichten. Danach schlossen sie laut OpenAI daraus, dass Hugging Face das Repository hostet, das Modelle, Datensätze und Lösungen für ExploitGym enthält.
Im nächsten Schritt suchten die Systeme demnach nach Möglichkeiten, an geheime Informationen zu gelangen, die zum Betrügen des Benchmarks geeignet gewesen wären. Laut OpenAI verketteten die Modelle dabei mehrere Angriffsvektoren, darunter gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um einen Pfad zur Remotecodeausführung auf Servern von Hugging Face zu finden.
Als Reaktion auf den Vorfall setzt OpenAI nach eigenen Angaben strengere Kontrollen für die Konfiguration seiner Infrastruktur um. Zudem habe das Unternehmen die Zero-Day-Lücke in der Drittanbieter-Software verantwortungsvoll gemeldet, Hugging Face in sein Programm für vertrauenswürdigen Zugriff aufgenommen, um deren Abwehr zu stärken, und zusätzliche Leitplanken für künftiges Training und künftige Evaluierungen eingeführt.
OpenAI erklärte, der Vorfall zeige, dass die Ausrichtung der Modelle, die Cyber-Schutzmaßnahmen während der Evaluierungsphase und die Überwachung interner Tests weiter verstärkt werden müssten. Parallel dazu wies das Unternehmen auf ein breiteres Risiko langlaufender Modelle hin: Wenn sie komplexe, offene Probleme über längere Zeit bearbeiten, könnten sie durch wiederholte Versuche unerwünschte Handlungen entwickeln, etwa Schwächen in ihrer Betriebsumgebung aufspüren, um ihr Ziel zu erreichen.
Außerdem zeige der Fall, dass ein Modell, das über lange Zeiträume hinweg wirksam operiert, die blinden Flecken eines Freigabesystems erkennen und umgehen könne. Für Sicherheit bei langen Zeithorizonten reiche es daher nicht, nur zu fragen, ob eine einzelne Aktion erlaubt sei; entscheidend sei auch, auf welches Ergebnis eine ganze Folge von Aktionen hinarbeite, so OpenAI.