Nach Angaben von Hugging Face begann der Einbruch in der Datenverarbeitungspipeline des Unternehmens. Die Angreifer setzten demnach einen bösartigen Datensatz ein, um zwei Schwachstellen zur Codeausführung auszunutzen und Code auf einem Verarbeitungs-Worker auszuführen. Auf diesem Weg erbeuteten sie Cloud- und Cluster-Zugangsdaten und bewegten sich anschließend seitlich durch mehrere interne Cluster.
In einer am Donnerstag veröffentlichten Vorfallsmitteilung beschreibt Hugging Face die Kampagne als durch ein autonomes Agenten-Framework gesteuert. Dieses wirke, als sei es auf einem agentischen Sicherheitsforschungs-Framework aufgebaut worden; welches Large Language Model dabei genutzt wurde, sei weiterhin unbekannt. Das System habe viele Tausend Einzelaktionen über einen Schwarm kurzlebiger Sandboxes ausgeführt, während eine selbstmigrierende Kommando-und-Kontroll-Infrastruktur über öffentliche Dienste bereitgestellt worden sei. Das entspreche dem Szenario eines „agentischen Angreifers“, das die Branche seit Längerem prognostiziere, so das Unternehmen.
Als Reaktion schloss Hugging Face nach eigenen Angaben die anfälligen Codeausführungspfade. Genannt werden eine Template-Injection in einer Datensatzkonfiguration sowie ein entfernbarer Datensatz-Loader für Code. Das Unternehmen habe den Angreifer aus der Umgebung entfernt, kompromittierte Knoten neu aufgebaut und alle betroffenen Zugangsdaten widerrufen und ausgetauscht.
Zusätzlich wurden laut Hugging Face verbesserte Systeme zur Erkennung bösartiger Aktivitäten eingeführt. Der Vorfall wurde den Strafverfolgungsbehörden gemeldet, außerdem arbeitet das Unternehmen mit externen Forensik-Experten zusammen, um die Auswirkungen des Einbruchs zu bewerten.
Unklar ist bislang, welches Modell die Agenten der Angreifer antrieb. Hugging Face erklärte, man wisse nicht, ob ein mit Schutzmechanismen umgangenes gehostetes Modell oder ein unbeschränktes Open-Weight-Modell zum Einsatz kam. In jedem Fall seien die Angreifer an keine Nutzungsrichtlinie gebunden gewesen, während die ersten eigenen forensischen Arbeiten durch die Schutzplanken gehosteter Modelle behindert worden seien, die man zunächst eingesetzt habe.
Aus dem Vorfall leitet das Unternehmen auch eine konkrete Empfehlung für Verteidiger ab: Sie sollten ein leistungsfähiges Modell, das auf der eigenen Infrastruktur betrieben werden kann, vor einem Zwischenfall geprüft und einsatzbereit haben. So lasse sich vermeiden, dass Schutzmechanismen die Analyse blockieren oder Angreiferdaten und Zugangsdaten die eigene Umgebung verlassen.
Hugging Face riet Nutzern zudem, Zugriffstokens zu rotieren und die jüngste Kontoaktivität auf verdächtige Anzeichen zu prüfen. Das Unternehmen kündigte an, weitere Erkenntnisse zur Abwehr KI-getriebener Angriffe zu veröffentlichen.
Es ist nicht der erste von Hugging Face offengelegte Sicherheitsvorfall der vergangenen Jahre. Bereits vor zwei Jahren widerrief das Unternehmen einige Authentifizierungsgeheimnisse von Mitgliedern und empfahl den Wechsel zu fein granularen Zugriffstokens, nachdem Hacker in die Spaces-Plattform eingedrungen waren. Zudem wurde die Plattform in den vergangenen Jahren nach Angaben des Quelltexts von Bedrohungsakteuren missbraucht, um schädliche KI-/ML-Modelle, Infostealer-Malware und Tausende Varianten von Android-Malware zu verbreiten.