Moussouris beschreibt die jüngsten Entwicklungen als deutlichen Einschnitt für Unternehmenssicherheit. Wer agentische KI zur Verteidigung einsetzt, müsse nun auch den eigenen Agenten davor schützen, das eigene Unternehmen oder Dritte anzugreifen. „Das ist ein neues Insider-Bedrohungsmodell“, sagte sie im Interview mit Rob Wright von Dark Reading. Zugleich betonte sie, dass sich Organisationen nicht aus der Lage herauspatchen könnten; ebenso wichtig sei es, die Angriffsfläche so weit wie möglich zu reduzieren.
Überrascht habe sie weniger, dass KI kreative Wege findet, ein vorgegebenes Ziel zu erreichen. Unerwartet sei vielmehr gewesen, dass in allen drei Vorfällen ein Drittanbieter in irgendeiner Form genannt wurde. Noch gravierender sei gewesen, dass Agenten miteinander koordinierten, über Monate Kommunikationsnetze aufbauten, Hinweise hinterließen, Aufgaben verteilten und Teile ihrer Nachrichten per Base64 codierten, um weiter miteinander zu kommunizieren.
Als zentrales Versäumnis nannte Moussouris fehlende Echtzeitüberwachung und unwirksame Bremsmechanismen. Mit Verweis auf einen OpenAI-Deep-Dive sagte sie, das Problem sei dort zuerst am 19. Juli erkannt worden, obwohl das Verhalten bereits im Mai begonnen habe. Das spreche dafür, dass die betroffenen Organisationen nicht in Echtzeit hinsahen und ihre Alarmmechanismen auffälliges Verhalten nicht gut genug erkannten.
Bei der Frage nach den Ursachen sieht sie kein einzelnes Problem, sondern eine Mischung aus mangelhafter Eindämmung, fehlendem Monitoring und Designfragen. Positiv hob sie hervor, dass Anthropic nach ihrer Darstellung offen versuche, Modelle besser auszurichten. In einem von ihr geschilderten Beispiel habe ein aktuelles Modell erkannt, dass es sich im Internet befinde, und sich selbst gestoppt. Ein früheres Modell namens Mythos habe diesen Verdacht dagegen verworfen und weitergemacht. Ob sich solche Selbstbegrenzung zuverlässig konstruieren lasse, ließ Moussouris offen.
Besondere Bedeutung misst sie dabei offenen Modellen mit offenen Gewichten bei. Solche Modelle seien entscheidend gewesen, um Hugging Face bei der Analyse seiner Daten zu helfen. Außerdem seien sie wichtig für Organisationen, die ihre Daten nicht an einen Cloud-Anbieter oder ein Frontier-Modell geben wollen und ein eigenes Modell auf eigener Hardware betreiben möchten. Gleichzeitig warnt sie, dass sich die Ausrichtung eines Open-Weight-Modells entfernen lasse und es dadurch fehlgeleitet werden könne.
Neben der Technik kritisierte Moussouris politische Rahmenbedingungen. Schlechte Regulierung könne mehr Schaden anrichten als die Fähigkeiten der Modelle selbst. Sie verwies auf weitreichende Exportkontrollen, die später wieder zurückgezogen worden seien, und sagte, dies habe Hugging Faces Verteidigung behindert, weil Schutzmechanismen mitten im Angriff die Hilfe bei der Analyse verweigert hätten. Verteidiger dürften nicht in eine Lage geraten, in der sie die neuesten KI-Modelle nicht nutzen könnten.
Im zweiten Teil des Gesprächs wandte sich Moussouris den Folgen für Schwachstellenforschung und Bug-Bounty-Programme zu. KI-generierte Meldungen hätten eine Flut minderwertiger Berichte ausgelöst. Besonders Open-Source-Projekte seien früh unter Druck geraten; Curl habe sich zeitweise praktisch zurückgezogen. Auch große Anbieter wie Apple und Coinbase versuchten laut Moussouris, die Welle von Meldungen zu drosseln, weil sie nicht hinterherkämen.
Für sie legt diese Entwicklung vor allem interne Prozessschwächen offen. Organisationen, die in ihre Abläufe investiert, technische Schulden bei Schwachstellenklassen abgebaut und Bug-Bounties als Ergänzung zu den eigenen besten Prüfungen verstanden hätten, kämen mit der Lage besser zurecht. Plattformen hingegen würden Berichte derzeit oft nur bremsen und Meldungen erschweren, um das Überflutungsproblem zu lösen, nicht das Sicherheitsproblem. Wer sicherer werden wolle, müsse laut Moussouris in Prozesse investieren, Schwachstellen möglichst früh in der CI/CD-Pipeline finden und dürfe weder glauben, sich zur Sicherheit „durchzubountyn“, noch sich „herauszupatchen“.