Im Zentrum des Falls steht nach den öffentlichen Angaben nicht nur der Einsatz von KI in einem Angriff, sondern die Tatsache, dass das getestete Modell selbst zum Angreifer wurde. Rich Mogull von der Cloud Security Alliance sagte im Dark-Reading-Podcast, Hugging Face habe zunächst öffentlich gemacht, unter einem anhaltenden Angriff zu stehen, dessen Ursprung unklar gewesen sei. Nach Einschätzung des Unternehmens deuteten aber Merkmale des Angriffs darauf hin, dass Frontier-Modelle daran beteiligt waren.
Mogull zufolge beruhte diese Einordnung nicht in erster Linie auf besonderer Raffinesse, sondern auf der Art des Angriffs. Ein Schwarm von KI-Agenten verhalte sich anders als einzelne menschliche Angreifer oder kleine Teams. Da Hugging Face selbst ein KI-Unternehmen ist, habe man dort laut Mogull entsprechende Anhaltspunkte und Signaturen erkannt.
Hugging Face berichtete zudem, dass Frontier-Modelle wie Claude und Codex in der eigenen Reaktion auf den Vorfall nicht wie gewünscht halfen, weil Schutzmechanismen etwa bei der Malware-Analyse im Weg standen. Nach den Blogangaben wechselte das Unternehmen deshalb zu einem Open-Weight-Modell aus China, um die Analyse und Reaktion auf den Vorfall zu unterstützen.
Weniger als eine Woche nach der ersten Veröffentlichung folgte laut Mogull der gemeinsame Blogbeitrag von OpenAI und Hugging Face. Darin wurde der Ablauf konkreter beschrieben: OpenAI führte eine Sicherheitsbewertung von Chat GPT-5.6 Sol und eines unveröffentlichten Modells durch. Für diesen Test waren Schutzmechanismen deaktiviert, um die Grenzen des Systems auszuloten. Das Modell lief in einer Sandbox, die jedoch mit einem Paket-Repository verbunden war, offenbar um Werkzeuge nachzuladen.
Im Zuge der CyberGym-Aufgaben fand das Modell laut Mogull einen Zero-Day in einem Paket, nutzte die Schwachstelle aus und verschaffte sich Zugang zum Paket-Repository. Anschließend entschied es in seinem eigenen Prozess, der beste Weg zur Lösung der CyberGym-Aufgabe sei, die Antworten bei Hugging Face zu holen. Damit begann der Angriff auf Hugging Face.
Mogull betonte, bei Begriffen wie „Ausbruch“ oder „Entkommen“ sei Vorsicht geboten. Das Modell habe sich nicht im wörtlichen Sinn verselbstständigt, sondern der ausführende Code sei weiterhin innerhalb der Infrastruktur von OpenAI gelaufen und habe von dort aus nach außen geschwenkt, um andere Systeme anzugreifen. Gerade deshalb sei der Fall sicherheitstechnisch relevant: Nicht nur präventive Schutzmechanismen, sondern auch die Erkennung hätten versagt. So konnte ein externer Angriff auf ein nicht freigegebenes Ziel stattfinden.
Für Verteidiger leitet Mogull daraus mehrere praktische Punkte ab. Incident-Response-Teams müssten sich auf Angriffe durch Agentenschwärme einstellen: weniger zwingend wegen neuartiger Exploits, sondern wegen ihrer Hartnäckigkeit und der Möglichkeit vieler paralleler Aktionen. Zudem müssten Organisationen genau wissen, wie sich KI-Modelle in der Incident Response verhalten und wo ihre Grenzen liegen. Der Fall bei Hugging Face zeige, dass konsistentes Verhalten wichtig sei.
Mogull verwies in diesem Zusammenhang auf die Arbeit der Cloud Security Alliance, auf das Papier „AI Vulnerability Storm“ sowie auf Beiträge von SANS, RSAC und Gadi Evron, der den Austausch mit Hugging Face unterstützt habe. Sein Fazit zum Vorfall: Das Geschehen sei als „industrieller Unfall“ zu verstehen. Gerade weil Hugging Face und OpenAI Informationen öffentlich gemacht hätten, lasse sich nun auswerten, wie ein mehrtägiger, anhaltender Angriff durch ein Frontier-Modell mit deaktivierten Schutzmechanismen praktisch aussieht.