Die Analyse der Python-Exploit-Code zeigt charakteristische Merkmale maschineller Generierung: Das Skript enthält zahlreiche pädagogische Dokumentationen, einen „halluzinierten” CVSS-Score und folgt einem strukturierten, lehrbuchmäßigen Format, das typisch für Large Language Models (LLM) ist. Google betont, dass die entdeckte Schwachstelle — ein hochstufiger semantischer Logik-Fehler — genau die Art von Vulnerabilität darstellt, die KI-Systeme aufspüren können, nicht aber klassische Fuzzing- oder Static-Analysis-Tools.
Besonders bemerkenswert ist die Natur des Angriffs: Das eingesetzte KI-Modell bleibt identifizieren, wobei Google Googles eigenes Gemini ausschließt. Stattdessen deuten die Beweise darauf hin, dass Threat-Actor-Gruppen weltweit Zugang zu verschiedenen LLM-Plattformen haben und diese systematisch zur Vulnerability-Discovery missbrauchen.
Die globale Dimension dieser Bedrohung ist erheblich: APT27, APT45 und weitere chinesisch-nordkoreanische Gruppen sowie russische Akteure setzen KI-Modelle routinemäßig für Exploit-Entwicklung ein. Besonders innovativ ist die russische Operation “Overload”, bei der Social-Engineering-Angreifer KI-gestützte Stimmenklonierung nutzen, um sich als Journalisten auszugeben — eine Technologie, die auch in Deutschland zu Desinformationskampagnen missbraucht werden könnte.
Ein weiteres warnendes Beispiel ist die PromptSpy-Malware für Android, die Gemini-APIs integriert und eigenständig mit dem Gerät interagiert. Das Malware-Modul “GeminiAutomationAgent” nutzt fest einprogrammierte Prompts, um Sicherheits-Features des LLM zu umgehen und UI-Grenzen zu manipulieren — beispielsweise um Authentifizierungen zu obskurieren.
Google warnt, dass Threat-Actor zunehmend Premium-KI-Modelle durch automatisierte Kontoerstellung und Account-Pooling-Infrastruktur industrialisieren. Dies bedeutet, dass Angreifer nicht mehr auf einzelne Exploits angewiesen sind, sondern KI-Pipelines aufbauen, die kontinuierlich nach verwertbaren Schwachstellen suchen.
Für deutsche Unternehmen und Behörden hat dies mehrere Konsequenzen: Zum einen müssen Vulnerability-Management-Prozesse aktualisiert werden, um KI-generierte Exploits schneller zu erkennen. Zum anderen verstärkt sich die Meldepflicht nach DSGVO bei Datenschutzverletzungen, da solche Angriffe sensitive Daten gefährden können. Das BSI sollte entsprechende Richtlinien zur Härtung von Verwaltungstools und zur KI-Sicherheit aktualisieren.