Mit dem Model Provenance Kit will Cisco mehrere Risiken adressieren, die beim Einsatz fremder KI-Modelle entstehen. Organisationen profitieren zwar von der großen Auswahl in Repositorien wie HuggingFace, dokumentieren die an den Modellen vorgenommenen Änderungen aber häufig nicht. Da auch die Pflege von Modellkarten und Metadaten durch die Entwickler stark variiert, fehlt nachgelagerten Nutzern oft eine verlässliche Grundlage.
Cisco betont, dass Aussagen der Modellentwickler – etwa zur Quelle eines Modells, zu Schwachstellen oder zu Verzerrungen in den Trainingsdaten – in der Regel nicht verifiziert werden. Daraus ergeben sich Folgen für Sicherheit, Compliance und Haftung. So könnten Unternehmen Modelle einsetzen, die vergiftet oder manipulierbar sind.
„Wenn man sie nicht berücksichtigt, können sich solche Schwachstellen weiter ausbreiten – ganz gleich, ob sie einen internen Chatbot, eine Agentenanwendung oder ein kundenseitiges Werkzeug betreffen", erklärt Cisco. Ebenso könne ein Unternehmen ein Modell einsetzen, dessen Trainingsdaten Verzerrungen aufwiesen, die es für den jeweiligen Einsatzzweck ungeeignet oder anfällig für Manipulation machten.
Die Schwachstellen würden vererbt und blieben in generativen und agentischen Anwendungen bestehen, so Cisco weiter. Ohne Herkunftsnachweis hätten Organisationen keine einfache Möglichkeit, einen Vorfall bis zu seiner Ursache zurückzuverfolgen, und auch keine Möglichkeit festzustellen, welche anderen Modelle in ihrem Bestand ebenfalls betroffen seien. Bei einem Vorfall mit einem KI-Modell werde zudem die Reaktion und Behebung schwieriger, wenn Einblick in die Abstammung des Modells fehle.
Als weitere Risiken nennt Cisco Lizenz- und Regulierungsfragen, die mit behördlichen Vorgaben zur Dokumentation des Einsatzes von KI-Systemen zusammenhängen, sowie Risiken für die Integrität der Lieferkette, weil Organisationen die Angaben der Modellentwickler nicht überprüfen können.
Das Toolkit erzeugt für jedes Modell einen „Fingerabdruck", der auf „Metadaten-Signalen, Ähnlichkeit des Tokenizers und Identitätssignalen auf Ebene der Gewichte – etwa der Geometrie der Embeddings, Normalisierungsschichten, Energieprofilen und direkten Gewichtsvergleichen" beruht. Es bietet zwei Modi: Im Modus „compare" lassen sich zwei Modelle auf eine gemeinsame Abstammung hin vergleichen; im Modus „scan" wird der Fingerabdruck eines Modells gegen eine von Cisco zusammengestellte Datenbank abgeglichen, um die nächstliegende Abstammung zu finden.
„Da Modelle kontinuierlich nachtrainiert, destilliert, zusammengeführt und neu verpackt werden, sind Modelldateien längst keine statischen Objekte mehr. Die Abstammung wird schwerer nachzuvollziehen und leichter zu verschleiern", so Cisco. Die Veröffentlichung sei ein Schritt hin zu einem belegbasierten Ansatz für die Herkunft von Modellen. Das Model Provenance Kit ist quelloffen auf GitHub verfügbar, Ciscos Datensatz mit Fingerabdrücken von Basismodellen liegt auf Hugging Face.