Im Zentrum des Projekts steht die „Source Attribution of Generative AI“-Plattform, kurz SAGA. Das System wurde nach Angaben der Forscher entwickelt, um über die bloße Frage „echt oder gefälscht“ hinauszugehen. Es soll nicht nur erkennen, ob ein Video mit künstlicher Intelligenz erzeugt wurde, sondern auch nachvollziehen, welches generative Modell dafür genutzt wurde, in welcher Version es vorlag und welchem Entwicklungsteam es zuzuordnen ist.
Rohit Kundu und das Team der UC Riverside begannen laut dem Quelltext zunächst mit der Erkennung manipulierter Inhalte. Danach entwickelten sie ein Modell, das verschiedene Arten von Videos mit einem einzigen Ansatz untersuchen kann, statt für jede KI-Anwendung ein separates Modell zu benötigen. Im nächsten Schritt bauten sie ein Begründungsmodell, das erklären soll, warum ein Video gefälscht ist und welche Bestandteile die Fälschung verraten.
Erst nachdem Erkennung und Begründung funktionierten, verlagerte sich der Schwerpunkt auf die Herkunftsanalyse. Laut Kundu kann das im praktischen Einsatz helfen zu erkennen, welche Modelle besonders häufig zur Erstellung gefälschter Videos genutzt werden. Diese Informationen könnten an die jeweiligen Modellanbieter weitergegeben werden, damit sie ihre Datenfilter und Schutzmechanismen verbessern. Gegenüber Dark Reading sagte Kundu sinngemäß, dass große Anbieter informiert werden sollten, wenn viele Videos mit ihrer Technik erzeugt werden, damit sie zusätzliche Beschränkungen einführen können.
Für die technische Umsetzung setzte das Team auf ein Grundmodell als Basis. Kundu warnt, dass Systeme im realen Einsatz oft auf Inhalte treffen, die von den Trainingsdaten abweichen. Durch diese Architektur solle SAGA bei solchen Abweichungen nicht an sogenannten Domänenstörungen scheitern, die laut Kundu häufig vorkommen. Wenn ein Video etwa in sozialen Netzwerken hochgeladen wird, können sich zwar Gemeinsamkeiten im Format oder Umfeld ergeben, die grundlegende Modellarchitektur solle aber verhindern, dass solche Ähnlichkeiten die Leistung beeinträchtigen.
Die Forscher verweisen außerdem auf die Wirksamkeit ihrer Video-Transformer-Architektur, die für die Verarbeitung und Analyse von Videodaten zuständig ist. Kundu zufolge wurde SAGA gezielt für die Zuordnung von Videoursprüngen ausgelegt und lasse sich deshalb leicht übernehmen.
In einem Whitepaper untersuchte das Team auch, warum das Modell bei der Quellenzuordnung erfolgreich war. Die Forscher führen das auf sogenannte zeitliche Signaturen, „T-Sigs“, zurück. Gemeint ist damit, wie sich einzelne Bildrahmen im Zeitverlauf verändern. Diese Analyse soll eine Grundlage für weiterführende Forschung bieten. Nach Darstellung von Kundu besitzen verschiedene generative Modelle unterschiedliche zeitliche Artefakte oder Muster. Selbst wenn zwei Modelle mit derselben Eingabeaufforderung ähnliche Videos erzeugen, bleiben Unterschiede in diesen zeitlichen Unstimmigkeiten bestehen.
Gerade diese kleinen, mit bloßem Auge schwer erkennbaren Abweichungen könnten laut Kundu forensisch nutzbar sein, um das zur Erstellung verwendete Modell zu identifizieren. Er sagt, unterschiedliche Generatoren hinterließen unterschiedliche zeitliche Artefakte.
Langfristig will das Team nach eigener Darstellung nicht bei Erkennung, Begründung und Quellenanalyse stehen bleiben. Als nächstes Ziel nennen die Forscher eine vorbeugende Verhinderung unsicherer Inhalte, also Mechanismen, die problematische Videos gar nicht erst erzeugen lassen. Im Quelltext werden als Beispiele täuschende Deepfakes von Prominenten oder Politikern zur Desinformation sowie ein Bedrohungsakteur genannt, der sich als Führungskraft ausgibt, um einen Angriff auf geschäftliche E-Mail-Kommunikation durchzuführen.