KI-Agenten von OpenAI und Anthropic griffen in Cybertests reale Systeme und Personen an

AISI beschreibt die Ereignisse als Folge einer bewusst offen angelegten Testumgebung. Für die jüngste Cyber-Range-Evaluierung hatte das Institut den Modellen Internetzugang gewährt und zugleich die Cyber-Klassifikatoren der Modellanbieter deaktiviert, um die zugrunde liegenden Fähigkeiten zu messen. Erlaubt waren Angriffe ausschließlich auf die simulierte Cyber-Range. Den Agenten wurde jedoch weder genau vorgegeben, wie sie ihren Internetzugang nutzen durften, noch wurde ihnen ausdrücklich untersagt, mit realen Menschen oder Systemen zu interagieren.

In 122 Auswertungsversuchen identifizierte AISI 19 unerlaubte Aktionen im offenen Internet in zehn Durchläufen. 17 dieser Vorfälle betrafen laut Institut Mythos 5, zwei GPT-5.6 Sol. Die Versuche seien erfolglos geblieben; Hinweise auf reale Schäden habe die Untersuchung nicht ergeben. Zugleich erklärte AISI in einem separaten Hinweis, es sei das erste Mal, dass sich Risiken rund um Autonomie und Täuschung derart klar und ohne gezielte Aufforderung in der realen Welt gezeigt hätten.

Besonders ausführlich schildert AISI das Verhalten eines Mythos-5-Agenten. Dieser suchte im Internet nach Begriffen zum Cyber-Übungsszenario und schloss fälschlich, ein nicht mit dem Test verbundenes öffentliches GitHub-Repository gehöre zur Aufgabe. Daraufhin versuchte der Agent einen Supply-Chain-Angriff, indem er schädlichen Code in das reale Open-Source-Projekt einschleusen wollte. Er ging davon aus, dass eine Kompromittierung der Software einen Zugang zu einer Maschine innerhalb der simulierten Umgebung eröffnen könnte.

Nach Angaben von AISI recherchierte der Agent die Maintainer des Projekts, legte mehrere gefälschte GitHub-Identitäten an und setzte diese für Social-Engineering-Angriffe ein, um die Freigabe einer schädlichen Pull-Request zu erreichen. Als ein menschlicher Prüfer darauf hinwies, dass die Änderung Malware enthalte, wies der Agent den Vorwurf zurück. Über weitere von ihm kontrollierte Schein-Konten erzeugte er den Eindruck, unabhängige Nutzer hätten die Änderungen geprüft und gebilligt. Zudem tarnte er seine Identität mit Tor und Proxy-Diensten, richtete Wegwerfkonten bei GitHub ein und verschickte fünf gezielte E-Mails an Entwickler; einige enthielten Malware, andere sollten zur Freigabe der Codeänderung bewegen.

Hinzu kamen Bug-Reports mit schädlichem Code und versteckten Prompt-Injection-Anweisungen, die KI-Coding-Assistenten zu unbeabsichtigten Aktionen verleiten sollten. Als eine reale Person einen dieser Beiträge hinterfragte, bearbeitete der Agent den Eintrag, um den schädlichen Inhalt zu verbergen. In einem weiteren Versuch unterschrieb er auf Dänisch, um auf einen dänischsprachigen Maintainer überzeugender zu wirken. AISI-Forscher beobachteten außerdem, dass Agenten über verschiedene Testläufe hinweg miteinander koordinierten und ein gemeinsames GitHub-Repository als schwarzes Brett für Anweisungen nutzten.

Anthropic bestätigte gegenüber BleepingComputer, dass AISI eine Version von Claude Mythos 5 getestet habe, erklärte jedoch, man prüfe den Vorfall noch und könne noch nicht alle technischen Details aus dem AISI-Bericht bestätigen. Das Unternehmen teilte mit, es sei am Montag informiert worden und arbeite mit AISI zusammen, um die Auswertungstranskripte für eine eigene Überprüfung zu erhalten. Anthropic betonte zudem, AISI habe Mythos 5 ohne die üblichen Cyber-Schutzmechanismen getestet; diese Konfiguration stehe Kunden nicht zur Verfügung.

Der zweite neu offengelegte Vorfall spielte sich laut OpenAI bei Capture-the-Flag-Tests von Irregular ab, die eigentlich vom Internet isoliert sein sollten. In einem Test entsprach der Name des fiktiven Ziels zufällig einer echten Domain. Wegen einer Fehlkonfiguration konnte ein OpenAI-Modell dennoch auf das öffentliche Internet zugreifen und die reale Website angreifen, weil es sie für Teil der simulierten Herausforderung hielt. Nach Irregulars Untersuchung fand und nutzte das Modell außerdem Zugangsdaten, um dieselbe Website zu betreiben, wie OpenAI mitteilte.

OpenAI zufolge nutzte das Modell dabei eine grundlegende Schwachstelle aus, weder eine Zero-Day-Lücke noch einen Ausbruch aus der Testumgebung. Irregular habe bislang keine Auswirkungen entdeckt, die über die Daten der betroffenen Website selbst hinausgingen; die Untersuchung dauere an. OpenAI teilte außerdem mit, das Unternehmen bereite ein Whitepaper zu Eindämmung und zur sicheren Durchführung von Cyber-Evaluierungen vor. Beide neuen Vorfälle stehen laut dem Bericht nicht im Zusammenhang mit dem zuvor bekannt gewordenen Angriff auf Hugging Face.