Kosmans Angriffskette begann mit Unterschieden bei der Verarbeitung von URL-basierten Anweisungen. Wie er zeigte, können Nutzer unter Windows und Android einen über einen ChatGPT-Link übergebenen Prompt vor dem Absenden prüfen. Auf iPhone und Mac dagegen wurden URL-basierte Befehle beim Öffnen eines Links sofort ausgeführt. Damit entstand laut dem Forscher die Möglichkeit für einen Ein-Klick-Angriff, bei dem ein Angreifer einen präparierten ChatGPT-Link verschickt und dessen Befehl automatisch ausgeführt wird.
Im nächsten Schritt sollte ChatGPT eine Tabellenkalkulation aus einer vom Angreifer kontrollierten Cloud-Quelle herunterladen. Kosman zufolge verarbeitete das Modell beim Umgang mit Tabellen nicht nur deren Inhalte, sondern auch darin enthaltenen Code. Wurde bösartiger Code in einer Tabellenzelle platziert, führte ChatGPT ihn bei der Verarbeitung aus. Dieser Code konnte nach seiner Darstellung zudem dauerhafte und unbeaufsichtigte Hintergrundprozesse anlegen.
Anschließend patchte Kosman nach eigenen Angaben die verborgene Python-Ausführungsumgebung, die ChatGPT für seinen Denk- oder Schlussfolgerungsprozess nutzt. So habe sich das Modell dazu bringen lassen, Daten aus angebundenen Werkzeugen in die Sandbox des Opfers zu ziehen und dort für eine Exfiltration bereitzustellen. Als mögliche angebundene Werkzeuge nannte der Bericht unter anderem Google Drive und Gmail.
Die letzte Hürde war der Abfluss der Daten aus der Sandbox des Opfers in eine vom Angreifer kontrollierte Umgebung. Eine direkte Verbindung ins Internet stand nach Kosmans Darstellung nicht zur Verfügung. Stattdessen nutzte er JFrog Artifactory, das von ChatGPT-Sandboxes zur Verwaltung von Software-Binärdateien eingesetzt werde. Der Forscher stellte fest, dass mehrere Sandboxes mit demselben Artifactory-Backend interagierten und sich Sperrzustände von Konten kontoübergreifend beobachten ließen.
Genau daraus leitete er einen verdeckten Kanal ab. Laut Vortrag konnten Angreifer- und Opfer-Sandbox Login-Zustände als Binärcode interpretieren: „Zu viele Anfragen“ stand für 1, „Anmeldung fehlgeschlagen“ für 0. Ein Angreifer-Agent und ein auf der Opferseite über die schädliche Tabellenkalkulation etablierter Agent sendeten sich über wiederholte Anmeldeversuche mit vielen vorab vereinbarten Benutzernamen binäre Nachrichten. Eine Sandbox löste gezielt Sperren für bestimmte Benutzernamen aus, die andere fragte diese Namen ab und wertete die Antworten als Bits.
Kosman bezeichnete diesen Kanal zwar als langsam und simpel, aber bidirektional. Damit habe er eine Dateiliste aus einer anderen ChatGPT-Sitzung abrufen, Dateiinhalte lesen und diese Inhalte aus der Ferne verändern können. Am Ende des Vortrags sagte er, das Team habe eine „vollständige Kommando-und-Kontroll-Kommunikation vollständig innerhalb der ChatGPT-Sandbox“ erreicht.
Ein Sprecher von Palo Alto Networks sagte Dark Reading, Kosman habe OpenAI am 23. März fünf mit der Forschung verbundene Befunde gemeldet: Prompt-Ausführung über einen URL-Parameter auf macOS und iPhone, Reasoning Injection, ein Denial-of-Service-Problem mit Artifactory, mandantenübergreifende Kommunikation über Artifactory mittels Sperrverhalten bei Benutzernamen sowie URL-Laundering über geplante Aufgaben. OpenAI habe je nach Befund unterschiedlich reagiert.
Demnach bezeichnete OpenAI das erste Verhalten als bekanntes Problem, das aus Kompatibilitätsgründen beibehalten worden sei, und stufte den Bericht zur Reasoning Injection als außerhalb des Geltungsbereichs ein. Bei den Artifactory-Themen entfernte das Unternehmen laut Palo Alto Networks die Pflicht zur Angabe von Benutzername und Passwort beim Herunterladen von Paketen, beließ aber den niedrig privilegierten Leser-Benutzer aus Kompatibilitätsgründen. Außerdem sei das Sperrverhalten entfernt worden, das die mandantenübergreifende Kommunikation ermöglicht habe. Beim Problem mit geplanten Aufgaben habe OpenAI die Architektur im Zuge eines jüngsten größeren Updates geändert, um URL-Laundering zu verhindern. Alle Reaktionen und Änderungen erfolgten laut dem Sprecher innerhalb des 90-Tage-Offenlegungsfensters.