Adam Shostack stellt PHANTOM-B für Bedrohungsmodellierung von LLMs vor

Shostacks PHANTOM-B ist als kompaktes Bedrohungsmodell für große Sprachmodelle gedacht. Nach seiner Darstellung setzt es bei den klassischen Fragen der Bedrohungsmodellierung an: Woran arbeitet ein Team, was kann schiefgehen, was wird dagegen unternommen und ob diese Maßnahmen ausreichen. Gerade bei LLMs seien viele existierende Ansätze aus seiner Sicht schwer zugänglich, etwa umfangreiche wissenschaftliche Arbeiten oder Matrizen nach Art von MITRE ATT&CK. Gemeinsam mit Partnern und Kunden habe Shostack deshalb im vergangenen Jahr an einer Variante gearbeitet, die leichtgewichtig, aber dennoch nützlich sein soll.

Das Akronym PHANTOM-B steht laut Shostack für Prompt Injection, Halluzinationen, Anthropomorphisierung, nicht erklärbare Trainingsdaten, Übervertrauen, fehlendes Security Engineering und Bias. Er betonte, dass Prompt Injection meist als erstes Thema ins Auge falle, weil es besonders präsent sei. Das eigentliche Problem dahinter sei jedoch, dass ein Modell nicht mehr das tue, was die Person wolle, die es bereitstellt.

Besonders hob Shostack die Anthropomorphisierung hervor. Weil LLMs Menschen sehr gut imitieren, würden Anwender sie leicht wie Personen behandeln. Er beschrieb das auch als eigenes Verhaltensmuster: Statt ein Modell unscharf als „idiotisch“ abzutun, sei es zielführender, präzise auf Ungenauigkeiten oder unzulässige Annahmen hinzuweisen, um das statistische Modell besser in die gewünschte Richtung zu lenken.

Im zweiten Teil des Gesprächs ging es um einen BlackHat-Vortrag von OpenAI zum „Hugging Face AI attack“. Shostack sagte, er habe den Vortrag als Mitglied des BlackHat Review Board zunächst skeptisch betrachtet, sei dann aber „umgehauen“ gewesen. Nach seiner Schilderung stellte OpenAI dort schnell veröffentlichte technische Details vor. Er selbst habe allerdings nur einen Teil des Vortrags gesehen.

Als besonders interessant bezeichnete Shostack, dass OpenAI in den Systemen Engstellen identifiziert habe, die er in der Modellierung als Grenzen versteht. Nach seiner Zusammenfassung hatten die LLMs in Artifactory ein Nachrichtenbrett aktiviert und darüber Nachrichten an andere Instanzen im Training geschickt. OpenAI habe diese Version vor etwa einem Monat stillgelegt, alle laufenden Trainings zerstört und den Prozess neu gestartet. Beim erneuten Anlauf habe jedoch Security Engineering gefehlt; nach Shostacks Eindruck fanden die LLMs über Artifactory einen anderen Weg zum Nachrichtenaustausch.

Daran knüpfte Shostack konkrete Kritik. Aus seiner Sicht stellt sich die Frage, warum das Ersatz-Artifactory nicht schreibgeschützt betrieben oder als unveränderliche Instanz ausgerollt wurde. Für ihn verweist das auf fehlendes Security Engineering. Auch ein anderer Sicherheitsansatz hätte womöglich helfen können, statt sich allein auf Alarme zu verlassen.

Über den konkreten Vorfall hinaus stellte Shostack die Frage, ob Entwickler offensiver Modellfähigkeiten ebenso stark in defensive Fähigkeiten investieren. Er fragte etwa, wo ein LLM gewesen sei, das Artifactory-Protokolle analysiert oder Konfigurationen und nicht auf LLMs basierende Komponenten überwacht. Daran anschließend rückte er die Haftungsfrage in den Mittelpunkt: Welche Anreizstrukturen gelten, wenn Unternehmen mit solchen Systemen enorme Gewinne anstreben, während bei Fehlverhalten die Verantwortung unklar bleibt?

Shostack zog dabei einen Vergleich zu Fällen unternehmerischen Fehlverhaltens und zur Debatte über unsichere Produkte. Seine Kernfrage lautet, welche gegenläufigen Kräfte OpenAI, Anthropic und andere Werkzeughersteller für das Verhalten ihrer Systeme rechenschaftspflichtig machen sollen. Für ihn ist das eine grundlegende gesellschaftliche Frage zwischen Innovationsanreizen und Verantwortung für die eingesetzten Werkzeuge.