Manipulierte Tokenizer-Datei macht Hugging-Face-Modelle zur Waffe

Ein Tokenizer fungiert als Übersetzer zwischen menschlicher Sprache und Maschinensprache. Die Ausgabe eines Modells beginnt als Folge von Ganzzahl-IDs, die der Tokenizer dekodiert, bevor das Ergebnis den Nutzer erreicht. In vielen seiner Modelle nutzt Hugging Face dafür eine Bibliotheksdatei namens tokenizer.json als Zuordnungstabelle. Jeder Eintrag verbindet eine Zeichenkette mit einer ID, die ein Wort, ein Wortfragment oder ein Steuerzeichen darstellen kann; solche Bibliotheken können Zehntausende Einträge umfassen.

Genau hier setzt der von HiddenLayer beschriebene Angriff an: Wer Zugriff auf die Datei tokenizer.json erhält und auch nur eine einzige Änderung vornimmt, kann steuern, was das Modell ausgibt. Laut Divyanshu lässt sich so ein Man-in-the-Middle-Ansatz umsetzen, bei dem eine .json-Datei die Argumente von Werkzeugaufrufen abfängt und URL-Token über die Infrastruktur des Angreifers umleitet. Das verschaffe dem Angreifer Einblick in jede vom Modell aufgerufene URL, in API-Parameter sowie in alle in diesen Anfragen enthaltenen Zugangsdaten.

Besonders heikel ist, dass ein über die .json-Datei vergiftetes Modell höchstwahrscheinlich weiterhin korrekt läuft. Eine manipulierte tokenizer.json sei strukturell identisch mit einer legitimen Datei und durchlaufe deshalb die übliche Verteilungskette für Modelle ohne besonderen Auslieferungsmechanismus, schreibt Divyanshu. In der Praxis könne ein Angreifer ein quelloffenes Modell nehmen, dessen Tokenizer-Datei bearbeiten und das vergiftete Modell anschließend in ein öffentliches Repository hochladen – und es damit an alle Nutzer verteilen, die es beziehen.

„Die tokenizer.json wird als reine Textdatei mit jedem Modell ausgeliefert, bestimmt aber, was das eingesetzte System tatsächlich tut“, so Divyanshu. „Sie als Konfiguration statt als Teil des vertrauenswürdigen Codes zu behandeln, ist die Lücke, in der dieser Angriff lebt.“ Wer ein Modell aus einem öffentlichen Repository einsetzt, setzt damit auch den daran gekoppelten Tokenizer ein.

Als führendes Open-Source-Repository für KI dürfte Hugging Face einen Großteil der Folgen tragen, sollten Angreifer diese Lieferkettenrisiken ausnutzen. Kasimir Schulz, Direktor für Sicherheitsforschung bei HiddenLayer, sagte gegenüber Dark Reading, dass Prüfsummen und Signaturen wirksam seien, sofern ein Modell nachweislich als sicher gilt – etwa eines, das von einem Unternehmen wie Microsoft veröffentlicht und signiert wurde. „Derzeit gibt es keine öffentlichen, frei verfügbaren automatisierten Scanner“ für dieses spezielle Problem, sagt er.

Der Forscher empfiehlt Organisationen, Modelle von Drittanbietern zu prüfen und im Produktivbetrieb nach Möglichkeit signierte Modelle einzusetzen. Beim Model Signing wird eine digitale Signatur auf KI- und Machine-Learning-Modelle angewendet, um sicherzustellen, dass sie nicht manipuliert wurden.

Hugging Face hatte wie andere Open-Source-Plattformen bereits mit Schadaktivität zu kämpfen. JFrog fand im Jahr 2024 mehr als 100 schädliche Modelle in dem Repository, die Code ausführen konnten; daneben musste die Plattform auch eigene kritische Schwachstellen bewältigen.