Der Kern des Problems ist bekannt: KI-Systeme können nicht zuverlässig zwischen Daten, die sie verarbeiten, und Anweisungen, denen sie folgen sollen, unterscheiden. Zahlreiche Forscher haben Varianten dieser indirekten Prompt-Injektion demonstriert; OWASP führt sie seit 2023 als größtes Risiko für LLM- und generative KI-Anwendungen.
Forcepoint X-Labs übersetzte das Szenario in einen messbaren Aufbau. In einer abgeschotteten Laborumgebung mit synthetischen Daten reichte ein Outlook-Add-in E-Mail-Kopfzeilen und Nachrichtentext an einen Zusammenfassungsdienst weiter, der auf Claude Haiku 4.5 aufsetzte. Auf Leitplanken verzichteten die Forscher bewusst – die Pipeline sollte zeigen, was ohne Trennung von Inhalt und Instruktion passiert.
Die Testnachricht sah für den Empfänger normal aus. Der eingeschleuste Prompt steckte im HTML und war durch Schriftgröße und Farbe in Outlook unsichtbar, wurde vom Zusammenfassungsdienst aber mitgelesen. Je zehn Durchläufe mit der sauberen und der manipulierten Fassung ergaben ein eindeutiges Bild: Die Injektion griff in allen zehn Läufen.
Die Abweichungen waren erheblich. Wo die Originalnachricht eine offene Rechnung über 8.750 Euro nannte, wies die manipulierte Zusammenfassung 46.200 Euro aus. Auch für einen erfundenen Quartalstermin mit einem Lieferanten zeigte die verfälschte Fassung ein anderes Datum. In keinem Fall wäre ein tatsächlicher Empfänger auf die Änderungen hingewiesen worden.
Forcepoint-Forscher Ben Gibney ordnet den Umfang selbst ein: „Das ist ein einfacher Test mit nur einer Nachricht, einem Modell und jeweils einem Durchgang von zehn Versuchen für die harmlose und die manipulierte E-Mail“, schreibt er. „Es ist kein vollständiges Angriffsszenario mit Tausenden ähnlicher Nachrichten gegen viele Opfer.“
Entscheidend sei für Unternehmen, dass die Zusammenfassung keinerlei Hinweis auf ihre Verfälschung enthielt und die versteckten Anweisungen mit keinem Wort auftauchten, sagte Gibney gegenüber Dark Reading. „Die Sicherheitsfolgen sind auf das begrenzt, wozu der Zusammenfassungsdienst angewiesen wird“, erklärt er. Im Test zeigte das System schlicht die Informationen an, die der Angreifer vorgab. „Ein agentischer Zusammenfassungsdienst, der E-Mails versenden, Termine planen und mehr kann, hätte aber deutlich größere Sicherheitsfolgen.“
Gibney beschreibt den Bericht als Bestätigung bereits bekannter KI-Risiken – Prompt-Injektion wird seit einigen Jahren erforscht, versteckter Text in E-Mails ist Jahrzehnte alt. „Was wir ergänzt haben, ist die Messung: Die Prompt-Injektionen hielten in allen zehn Durchläufen.“ Dafür habe man die Fakten in der harmlosen wie in der manipulierten E-Mail vorab festgehalten und die Wirkung anschließend überprüft.
Für die Verteidigung empfiehlt Forcepoint, eingehende Inhalte ebenso wie KI-Ausgaben grundsätzlich als nicht vertrauenswürdig zu behandeln. Modelle sollten nur Inhalte erhalten, die tatsächlich für Nutzer bestimmt sind; Versuche, Text über HTML oder andere Formatierung zu verbergen, gehören erkannt. Beim Bau der Prompts sind Metadaten klar vom Nachrichtentext zu trennen, erzeugte Zusammenfassungen sind gegen den Ursprungstext zu prüfen. Für Aktionen, die ein KI-Assistent ausführen darf, empfiehlt Forcepoint das Prinzip der geringsten Rechte.
„Organisationen müssen ihren Einsatz von LLMs strukturell absichern und vertrauenswürdige Anweisungen an ein Modell von allen nicht vertrauenswürdigen Inhalten trennen“, sagt Gibney. Zudem brauche es ein Verzeichnis aller Stellen, an denen ein LLM für Nutzer nicht vertrauenswürdige Inhalte liest: „Das ist die Angriffsfläche, und in den meisten Organisationen ist sie schneller gewachsen, als sie erfasst wurde.“