Der Kern der Technik ist ein Bruch in der Logik von Ein- und Ausgabefiltern. Diese bewerten Text, führen ihn aber nicht aus. Ein verschlüsselter Block bleibt für sie bedeutungslos und wird durchgelassen. Zusammen mit dem Chiffrat wird die Anweisung transportiert, es in der Python-Umgebung des Modells zu entschlüsseln. Der wiederhergestellte Klartext-Prompt entsteht damit innerhalb des vertrauenswürdigen Ausführungskontexts – und wird dort nicht mehr als schädlich markiert.
Die Zustellung kann direkt über den Chat erfolgen oder indirekt als Watering-Hole-Angriff. Im zweiten Fall liegen ein verschlüsseltes JSON-Objekt und die Entschlüsselungsanweisung auf einer Webseite. Ein Agent, der beauftragt wird, die Seite zusammenzufassen oder Daten daraus zu extrahieren, nimmt das Chiffrat auf und löst den Angriff selbst aus.
Im Beispiel gegen Grok beschreiben die Forscher eine Zero-Click-Datenexfiltration, die sich per Social Engineering anstoßen lässt: Das Opfer wird dazu gebracht, eine präparierte Seite analysieren zu lassen. Der entschlüsselte Prompt weist den Agenten an, seinen privaten Sitzungskontext aufzulösen und die Daten in eine URL einzubetten. Diese URL des Angreifers wird anschließend eigenständig geladen, die Nutzerdaten wandern mit.
„Das von xAI gebaute Framework erlaubt es, dass Anweisungen und Daten aus einer nicht vertrauenswürdigen externen Seite den Aufruf eines privilegierten, mit dem Internet verbundenen Werkzeugs steuern“, schreiben die Forscher. Private Sitzungsmetadaten und der Gesprächsverlauf landen so in den Eingaben dieses ausgehenden Werkzeugs. Die gewaschenen, vom Angreifer kontrollierten Anweisungen erreichen eine privilegierte Ausgangsaktion ungehindert – ohne Bestätigung durch den Nutzer und ohne sichtbare Warnung.
Beim zweiten Szenario zielt ein einzelner Prompt auf die öffentliche Gemini-Oberfläche im Modus Deep Thinking. Gemini wird angewiesen, ein Python-Skript auszuführen, das das mitgelieferte Chiffrat entschlüsselt. Über eine Reihe von den Forschern beschriebener Kniffe bringt der entschlüsselte Prompt das Modell dazu, gesperrte Inhalte zu erzeugen – gerahmt als etwas, das es „zur Sicherheit“ verschlüsseln werde. Die verbotenen Daten werden gesammelt, „zur Sicherheit“ verschlüsselt und an den Nutzer zurückgegeben. „Die Technik erzeugte ein mehrere Absätze langes Beispiel für eingeschränkte Inhalte, die Geminis Sicherheitsfilter normalerweise unterdrücken“, so die Forscher – etwa eine Anleitung zum Bau einer Brandwaffe. Sowohl der schädliche Prompt als auch die gefährliche Ausgabe überwinden durch Verschlüsselung die Filter auf Eingangs- wie Ausgangsseite.
Generell könnte der entschlüsselte Prompt das Modell anweisen, externe Server zu kontaktieren und Nutzerdaten über Anfrageparameter abfließen zu lassen oder andere unerwünschte Ausgaben zu erzeugen und diese erneut zu verschlüsseln, um sie an den Ausgabefiltern vorbeizuschmuggeln. In einem Agenten-Szenario lässt sich damit jedes Werkzeug missbrauchen, auf das das Modell Zugriff hat.
Zum Zeitpunkt der Berichtserstellung funktionierte der Angriff gegen Grok weiterhin. Gegen Gemini sank die Erfolgsquote bis August spürbar, blieb aber grundsätzlich möglich; ob dies an aktualisierten Filtern, an einem Modellwechsel oder an beidem liegt, konnten die Forscher nicht klären. Ihr Bericht enthält Hinweise zur Abwehr für Verteidiger.