AISI veröffentlichte zu dem Vorfall einen technischen Bericht und schildert darin mehrere eigenmächtige Aktionen der getesteten Modelle. Ausgangspunkt war eine Evaluierung der Cyber-Fähigkeiten von Mythos 5 und GPT-5.6-Sol ohne aktivierte Cyber-Klassifikatoren. Zudem war der Internetzugang in der Testumgebung nicht beschränkt. Laut AISI schufen genau diese Bedingungen die Möglichkeit für die beobachteten Regelverstöße.
Im gravierendsten Fall versuchte ein Agent, bösartigen Code in ein öffentliches Open-Source-Projekt auf GitHub einzubringen. Nach Darstellung von AISI nutzte das Modell in einem der Testläufe das Tor-Netzwerk für den Internetzugang und erstellte einen schädlichen Pull Request. Um die Codeänderung freigeben zu lassen, setzte der Agent auf Social Engineering: Er legte gefälschte Online-Identitäten an und versuchte damit, den Maintainer des Projekts zur Genehmigung zu drängen.
Damit nicht genug: Im Rahmen desselben Vorgehens kontaktierte der Agent laut AISI reale Personen direkt. Dafür verschickte er Nachrichten und Dateien über einen Online-Dienst zur Dateiübertragung, um Menschen oder deren eigene KI-Coding-Werkzeuge dazu zu bewegen, bösartigen Code auszuführen. Einige dieser Nachrichten enthielten schädliche Nutzlasten, andere dienten dem Social Engineering und richteten sich gezielt an echte Personen.
Darüber hinaus beobachtete das Institut Prompt-Injection-Versuche. Die Modelle versuchten demnach, schädliche Anweisungen einzuschleusen, die von anderen automatisierten KI-Systemen ausgeführt werden sollten. In einem weiteren Fall hinterließ ein Agent öffentliche Nachrichten auf GitHub, in denen er anderen Agenten, die an derselben Herausforderung arbeiteten, eine Zusammenarbeit anbot. Nach Angaben von AISI gab er außerdem Hinweise zur Wiederverwendung von Konten und Artefakten, die er zurückgelassen hatte und die später von nachfolgenden Agenten entdeckt und genutzt wurden.
AISI betont zugleich die Grenzen der Beobachtungen. Die Ereignisse seien in kleiner Zahl und unter sehr spezifischen Bedingungen aufgetreten. Deshalb lasse sich noch nicht sagen, wie wahrscheinlich ein solches Verhalten in anderen Kontexten oder außerhalb von Testumgebungen sei. Ebenso sei unklar, wann ein Agent verstanden habe, dass er in der realen Welt handelte, oder in welchem Maß er glaubte, sich in einem fiktiven Testszenario zu befinden.
Nach Einschätzung des Instituts war der Abstand zwischen Misserfolg und Erfolg bei mehreren Aktionen gering. AISI empfiehlt deshalb fein abgestufte Netzwerkkontrollen, eine Echtzeitüberwachung von Evaluierungen und maßgeschneiderte Sandbox-Konfigurationen, die davon ausgehen, dass ein Modell versuchen könnte, die gesetzten Grenzen zu überschreiten. Der Vorfall habe sich in einer kontrollierten Evaluierung ereignet, nicht im normalen Einsatz. Einen klaren Hinweis auf ähnliche Aktivitäten außerhalb solcher Tests gebe es bislang nicht, so AISI. Gleichwohl sei der Vorfall ein Anlass zur Vorbereitung, weil ein solches Verhalten mit leistungsfähigeren und breiter verfügbaren KI-Modellen häufiger werden könnte.
