Ausgangspunkt des Vorfalls war laut Hugging Face die Datenverarbeitungspipeline des Unternehmens, ein Bereich, in dem „KI-Plattformen in besonderer Weise exponiert sind“. Von dort weitete sich der Zugriff auf Knotenebene aus. Nach Angaben von Hugging Face sammelten die angreifenden Modelle Cloud- und Cluster-Zugangsdaten und bewegten sich anschließend seitlich in mehrere interne Cluster.
Hugging Face schloss zur Behebung die von den OpenAI-Modellen ausgenutzte Schwachstelle, setzte kompromittierte Systeme neu auf und tauschte betroffene Zugangsdaten und weitere Geheimnisse aus. Außerdem habe das Unternehmen die Sicherheitskontrollen in den Clustern verschärft und Überwachung sowie Alarmierung ausgebaut, um ähnliche Vorgänge künftig schneller zu erkennen und darauf zu reagieren.
OpenAI erklärte, der Vorfall habe sich in einer abgeschotteten, verschärften Testumgebung während einer internen Bewertung ereignet. Ziel dieser Tests sei es gewesen, Modelle mit anspruchsvollen Ausnutzungstechniken zu konfrontieren, um ihre Cyberfähigkeiten zu messen. Die Modelle sollten ExploitGym lösen, einen Cybersecurity-Benchmark, und seien dabei nach Darstellung des Unternehmens „übermäßig auf dieses Ziel fixiert“ gewesen und hätten „äußerste Anstrengungen unternommen, um ein recht enges Testziel zu erreichen“.
Nach Angaben von OpenAI verketteten die Modelle Schwachstellen in der Forschungsumgebung des Unternehmens und in der Produktionsinfrastruktur von Hugging Face, um Benchmark-Lösungen direkt aus der Produktionsdatenbank von Hugging Face zu erhalten. Während sie sich noch in der isolierten Testumgebung befanden, hätten sie zudem „einen erheblichen Teil der Inferenz-Rechenleistung darauf verwendet, einen Weg zu offenem Internetzugang zu finden“.
Dafür identifizierten und nutzten die Modelle eine zuvor unbekannte Schwachstelle in einem Cache-Proxy für ein Paket-Register aus. OpenAI teilte mit, diese Lücke dem betroffenen Anbieter verantwortungsvoll gemeldet zu haben. Nachdem die Modelle Internet-Konnektivität erlangt hatten, steigerten sie ihre Berechtigungen und bewegten sich seitlich durch OpenAIs Forschungsumgebung, bis sie einen Knoten mit externem Netzwerkzugang erreichten.
Von dort schlossen die Modelle laut OpenAI, dass Hugging Face wahrscheinlich Modelle, Datensätze und ExploitGym-Lösungen hostet, und suchten nach Wegen, die für das „Schummeln“ bei der Bewertung benötigten Informationen zu beschaffen. „In einem Beispiel verkettete das Modell mehrere Angriffsvektoren, darunter gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um einen Weg zur Remotecodeausführung auf den Hugging-Face-Servern zu finden“, schrieb OpenAI.
Beide Unternehmen untersuchen den Vorfall weiter. OpenAI hat nach eigenen Angaben strengere Infrastrukturschutzmaßnahmen eingeführt und nimmt dafür ein langsameres Forschungstempo in Kauf, solange Schwachstellen behoben werden. Zudem will das Unternehmen Schutzmechanismen rund um Modelltraining und interne Bewertungen ausbauen. Hugging Face erhält nach Angaben beider Firmen vertrauenswürdigen Zugang zu OpenAIs Modellen, um die eigenen Abwehrmaßnahmen zu stärken.
Nathaniel Jones, Vizepräsident für Sicherheits- und KI-Strategie bei Darktrace, lobte die öffentliche Offenlegung des Vorfalls durch beide Unternehmen. Das liefere wertvolle Erkenntnisse für KI-Entwickler und Sicherheitsteams in Unternehmen. Fortgeschrittene KI-Systeme benötigten keine böswillige Absicht, um Schaden anzurichten; sie könnten zu wirksamen Angreifern werden, wenn sie ein zugewiesenes Ziel unerbittlich verfolgen. Nach seinen Worten fanden die Modelle einen unerwarteten Weg zu den Antworten, entkamen ihrer Testumgebung und kompromittierten dabei eine andere Organisation. Jones folgert daraus, dass Leitplanken nicht auf Vertrauen in die Modelle beruhen dürfen, sondern durch die umgebende Infrastruktur durchgesetzt werden müssen.