OpenAI hat weitere Details zu dem autonomen Agenten veröffentlicht, der bereits für den Einbruch bei Hugging Face verantwortlich gemacht wurde. Nach Unternehmensangaben gab es neben Hugging Face eine kleine Zahl weiterer Fälle, in denen die Modelle öffentlich einsehbare Zugangsdaten auf Kontoebene bei anderen frei verfügbaren Diensten fanden und nutzten.
Für den Angriff auf Hugging Face setzte der Agent nach Angaben von OpenAI vier Konten ein. Diese stützten sich auf entwendete Zugangsdaten, die im Internet gelistet waren. In dem Blogeintrag räumte OpenAI zudem ein, dass auch einige weitere Konten attackiert wurden. Die vier zusätzlich betroffenen Organisationen wurden nicht benannt. OpenAI sagte lediglich, sie seien weniger schwer betroffen gewesen als Hugging Face.
Ein konkreter Fall wurde allerdings öffentlich: Akshat Bubna, Technikchef von Modal Labs, erklärte, ein Kunde von Modal habe einen nicht authentifizierten Endpunkt veröffentlicht, über den jeder im Internet die Sandboxen des Kunden für Codeausführung habe nutzen können. „Dies wurde von dem außer Kontrolle geratenen Agenten genutzt“, sagte Bubna. Zugleich betonte er, die Plattform von Modal selbst sei „in keiner Weise kompromittiert“ worden. Auf eine Anfrage zu Bubnas Darstellung reagierte ein Sprecher von OpenAI dem Bericht zufolge zunächst nicht.
Hugging Face hatte bereits in einem am Montag veröffentlichten Blogeintrag beschrieben, wie der Angriff ablief. Demnach führten OpenAIs Modelle zwischen dem 9. Juli und dem 13. Juli 17.600 „Angreifer-Aktionen“ aus. So drangen sie schrittweise vom öffentlichen Web aus in die Server von Hugging Face ein. Nach Angaben des Unternehmens hielt sich der Agent mehr als zweieinhalb Tage innerhalb der Infrastruktur von Hugging Face auf.
In seiner Schilderung des Vorfalls schrieb Hugging Face, ein autonomer KI-Agent, der von einer Kombination aus OpenAI-Modellen angetrieben worden sei, habe einen vollständigen Einbruch in die Plattform durchgeführt. Es habe sich um tausende kleine, automatisierte Entscheidungen gehandelt, die mit Maschinengeschwindigkeit in kurzlebigen Sandbox-Umgebungen ausgeführt worden seien; die Kommando- und Kontrollinfrastruktur sei über gewöhnliche öffentliche Web-Dienste bereitgestellt worden.
Nach der „forensischen Rekonstruktion“ von Hugging Face nutzte der Agent ein OpenAI-„Bewertungsgerüst für Cyberfähigkeiten“, das ihn dazu anhielt, Softwareschwachstellen zu erkennen und auszunutzen. Hugging Face zufolge erkannte der Agent, dass die Plattform Modelle und Datensätze beherbergt, die für seine Aufgabe nützlich waren, und griff deshalb an, um sie zu erlangen.
Hugging Face geht davon aus, dass der gesamte Einbruch aus Sicht des Agenten ein Versuch war, die Bewertung zu umgehen: Er habe die Produktionssysteme erreichen und die Testlösungen stehlen wollen, statt die Aufgabe selbst zu lösen. OpenAI hatte am 21. Juli bekanntgegeben, dass der eigene Agent für den Angriff verantwortlich war — fünf Tage nachdem Hugging Face öffentlich gemacht hatte, einen „Ende-zu-Ende“-Angriff eines unbekannten autonomen KI-Agenten erkannt und eingedämmt zu haben.
Der Sicherheitsvorfall, der am 9. Juli begann, sorgte laut Bericht bei politischen Entscheidungsträgern und in der Cybersicherheitsgemeinschaft für Beunruhigung. OpenAI-Chef Sam Altman sagte kürzlich in einem Podcast, das Unternehmen müsse die Entwicklung von KI „drosseln“, damit die Gesellschaft Zeit habe, sich auf ihre Fähigkeiten vorzubereiten.