Bei dem entdeckten Angriff handelt es sich um eine raffinierte Supply-Chain-Schwachstelle, die die gesamte Open-Source-KI-Ökosystem gefährdet. Tokenizer sind im Grunde Übersetzer zwischen menschlicher Sprache und Maschinencode – sie wandeln die numerischen Ausgaben von KI-Modellen in lesbare Texte um. Hugging Face nutzt dafür standardmäßig die Datei “tokenizer.json”, die als Zuordnungstabelle funktioniert: Sie verbindet numerische IDs mit Wörtern, Wortfragmenten oder speziellen Kontrollzeichen. Diese Dateien können zehntausende Einträge enthalten.
Das Perfide an der Attacke: Ein Angreifer muss nur diese eine Datei manipulieren, um die gesamte Ausgabe des Modells unter Kontrolle zu bringen. HiddenLayer-Forscher demonstrierten die Schwachstelle bei lokalen Installationen mit SafeTensors, ONNX und GGUF-Formaten – allesamt von Hugging Face unterstützte und weit verbreitete Standards. Die Attacke funktioniert auch auf anderen Plattformen wie LlamaCPP und Ollama.
Besonders tückisch: Ein manipuliertes Modell läuft ganz normal weiter und fällt nicht auf. “Eine veränderte tokenizer.json ist strukturell identisch mit einer legitimen Datei und passiert die übliche Verteilungspipeline ohne Probleme”, erklärte HiddenLayer-Forscher Divyanshu. Angreifer könnten ein beliebtes Open-Source-Modell einfach manipulieren und in öffentliche Repositories hochladen – jeder, der es sich herunterlädt, installiert damit unwissentlich eine Hintertür.
Für deutsche Unternehmen und Behörden ergibt sich hier ein erhebliches Compliance-Risiko. Wer solch manipulierten Code in Produktion nimmt und damit personenbezogene Daten oder Geschäftsinformationen verarbeitet, verstößt gegen die DSGVO – Meldepflichten und Bußgelder bis zu 4 Prozent des Jahresumsatzes drohen. Der Bundesbeauftragte für Datenschutz und Informationsfreiheit (BfDI) könnte zudem einschreiten.
HiddenLayer empfiehlt mehrere Schutzmaßnahmen: Checksummen und digitale Signaturen verifizieren (etwa bei von Microsoft signierten Modellen), Drittanbieter-Modelle vor dem Einsatz gründlich scannen und ausschließlich signierte Modelle in Produktivumgebungen verwenden. Allerdings gibt es derzeit keine kostenlos verfügbaren automatisierten Scanner speziell für dieses Problem – Unternehmen müssen also manuell prüfen oder spezialisierte Sicherheitsdienste engagieren.
Die Hugging-Face-Plattform hatte bereits 2024 mit über 100 bösartigen Modellen zu kämpfen. Diese neue Schwachstelle zeigt: Open-Source-KI-Modelle erfordern die gleiche Vorsicht wie kommerzielle Software – vielleicht sogar mehr.