Die Funktionsweise der ChatGPhish-Attacke ist bemerkenswert einfach und deshalb besonders gefährlich: Angreifer platzieren manipulierte Inhalte auf einer beliebigen Webseite. Wenn ein Nutzer ChatGPT dann auffordert, diese Seite zusammenzufassen, verarbeitet die KI die dort eingebetteten bösartigen Anweisungen. Das System rendert die Markdown-Links und Bilder aus der summarisierten Seite automatisch als anklickbare Elemente in der vertrauenswürdigen ChatGPT-Oberfläche – ohne zu hinterfragen, ob diese von einem Angreifer stammen.
Besonders tückisch: Wenn ChatGPT die Bilder automatisch abruft, können Angreifer dabei IP-Adresse, User-Agent und Referer-Daten abgreifen. Zudem lassen sich gefälschte Sicherheitswarnungen, QR-Codes oder vermeintliche Login-Seiten einschleusen, die täuschend echt wirken. Ein Nutzer, der ahnungslos einen QR-Code mit dem Handy scannt, umgeht damit Desktop-basierte Sicherheitsfilter und Unternehmenskontrollen.
Für deutsche Organisationen ist dies ein erhebliches Risiko: Mitarbeiter, die ChatGPT für die Recherche oder Dokumentenanalyse nutzen, könnten unwissentlich Opfer von Phishing-Kampagnen werden. Eine einfache Zusammenfassung einer bösartigen Webseite könnte dann zu Datenlecks oder Malware-Infektionen führen.
Permiso Security betont: Während Prompt-Injektionen bereits bekannt sind, macht ChatGPhish aus dem KI-Tool selbst die Phishing-Oberfläche. Das ist qualitativ neu. Die Angreifer müssen nicht mehr komplexe Social-Engineering-E-Mails schreiben – ein normaler Benutzer reicht aus, um während der täglichen Arbeit eine manipulierte Seite zusammenfassen zu lassen.
Die ChatGPhish-Schwachstelle ist nicht isoliert: Sicherheitsforscher von Adversa AI haben parallel zwei weitere kritische Angriffsmethoden gegen KI-Systeme entdeckt – SymJack und TrustFall. SymJack ermöglicht es Angreifern, über bösartige Code-Repositories in KI-gestützten Entwicklungstools Fernzugriff zu erlangen. TrustFall nutzt ähnliche Mechanismen, um mit nur einem Klick arbitrary Code auszuführen.
Sicherheitsexperten warnen zudem davor, dass Cyberkriminelle künftig Large Language Models (LLMs) nutzen könnten, um Malware intelligenter zu gestalten und automatisiert Sicherheitslücken auszunutzen. Palo Alto Networks dokumentierte einen Proof-of-Concept namens “Zealot”, der LLMs für automatisierte Cloud-Angriffe nutzt.
OpenAI hat noch nicht offiziell reagiert. Deutsche Behörden und Unternehmen sollten die Entwicklung eng monitoren und ihre ChatGPT-Richtlinien überprüfen.