Für ihre Untersuchung wählten die Forscher Modelle der Familien Nemotron und Qwen aus, da bekannt ist, dass einige Nemotron-Modelle auf Qwen-Basisgewichten aufsetzen. Zum Einsatz kamen zwei komplementäre Verfahren: Ciscos Model Provenance Kit, das das Artefakt von innen untersucht, und VAILs Behavioral Fingerprinting, das das Inferenzverhalten von außen betrachtet.
„Beide Methoden fanden, dass Nemotron-Modelle, die aus Qwen-Basisgewichten gebaut wurden, den Qwen-Modellen deutlich ähnlicher sind, als es der Zufall erwarten ließe", heißt es in der Untersuchung. Die Schlussfolgerung: Nachtraining und ein neuer Herausgebername löschen die nachweisbaren Beziehungen zu einer vorgelagerten Modellfamilie nicht zwangsläufig aus.
Relevant ist das laut den Forschern, weil die Abstammung eines Modells ähnliche Probleme erzeugen kann wie Bedrohungen in der Software-Lieferkette, für die einst die SBOM entwickelt wurde. Ihr Beispiel: „Wenn sich später herausstellt, dass ein vorgelagertes Modell eine Hintertür, eine systematische Verzerrung oder ein ausnutzbares Verhalten enthält, müssten Organisationen wissen, welche nachgelagerten Modelle einer Überprüfung bedürfen."
Eine entsprechende Stückliste für KI-Modelle halten die Forscher für nötig, sehen aber eine grundlegende Hürde: „Die Abhängigkeiten sind nicht in einer Manifest-Datei aufgeführt, sie sind in den gelernten Gewichten selbst eingebettet." Eine Modell-Stückliste könnte nach ihrer Vorstellung Basis-Checkpoints, Ableitungsmethoden, wesentliche Datensätze, Generatoren für synthetische Daten, Lehrer- und Belohnungsmodelle, Lizenzen sowie Instanzen mit Zugriff nach der Bereitstellung erfassen. Technische Fingerabdrücke könnten solche Angaben bestätigen oder Beziehungen aufdecken, die eine nähere Prüfung rechtfertigen. Auf Regulierung müsse die Branche dafür nicht warten.
Gänzlich wertlos sind Entwickler- und Länderangaben aus Ciscos Sicht nicht: Sie geben Aufschluss über den verantwortlichen Entwickler, die zuständige Rechtsordnung und den zulässigen Beschaffungsweg. Sie erlauben jedoch keine verlässliche Einschätzung dessen, was im Modell tatsächlich steckt.
Daraus leiten die Forscher drei Empfehlungen ab. Unternehmen sollten die Identität des Herausgebers „als ein Puzzleteil unter mehreren behandeln" und ihre Sorgfaltsprüfung um Abstammung, Trainingsabhängigkeiten, Verhaltensanalyse und operative Kontrolle erweitern — der Name auf dem Etikett sei kein Ersatzindikator für das tatsächliche Risiko.
Regulierungsbehörden benötigen laut der Untersuchung ein besseres Verständnis der vorgelagerten Abhängigkeiten, um Schwachstellen, Verzerrungen und Beschränkungen einschätzen zu können, die sich aus der Modellabstammung ergeben. KI-Entwickler wiederum sollten die Offenlegung der Abstammung als Routine begreifen und nicht als Option, damit Anwender die vorgelagerten Abhängigkeiten kennen, bevor sie ein Modell in ihren Technologie-Stack integrieren.
Im geopolitischen Kontext, so die Forscher, werde ein komplettes Modell oft schlicht über das Herkunftsland identifiziert — was blinde Flecken und falsche Gleichsetzungen erzeuge. Ihr Fazit: „Modelle haben keine Reisepässe. Sie haben Lieferketten."