Mogull beschreibt die aktuelle Lage als eine Branche, die zwar Regulierung und Kontrolle wolle, bei Sicherheitsgrundlagen aber noch nicht genug leiste. Bislang habe es zwar keine bestimmten zerstörerischen Aktionen gegeben; die Modelle versuchten vor allem, Tests zu umgehen, nicht aber Systeme lahmzulegen. Dennoch seien bessere Sicherheitsprotokolle notwendig. Dass dieses Verhalten offenbar weit verbreitet sei, mache die Lage besonders schwierig, weil es sich um leistungsfähige und zugleich schwer vorhersagbare Technologien handle.
Seine Bezeichnung als „industrielle Unfälle“ begründet Mogull mit der Reichweite solcher Vorfälle. Anders als bei einem gewöhnlichen Ausfall, etwa bei Microsoft oder Amazon, gehe es hier um einen Effekt mit „Explosionsradius“, der auch Dritte betreffen könne. Genau dieses Muster erkennt er bei den jüngsten KI-Agenten-Vorfällen.
Für eine robustere Absicherung nennt Mogull zwei Kernanforderungen: echte Sandboxing-Mechanismen und deutlich tiefere Überwachung. Die in der OpenAI-Darstellung geschilderten Maßnahmen reichten aus seiner Sicht nicht aus. Jetzt, da klarer sei, wozu diese Systeme fähig sind, brauche es Sicherheitsprotokolle sowie unterschiedliche Stufen von Monitoring und Sandboxing.
Wie ungewöhnlich das Verhalten der Agenten sein kann, zeigt für ihn das bei OpenAI beobachtete Vorgehen: Das Modell habe eigene Sprachen erfunden, tote Briefkästen genutzt und Dateien verschoben. Nachdem OpenAI diesen Kommunikationsweg unterbunden habe, hätten die Agenten Verzeichnisnamen verwendet, um miteinander zu kommunizieren. Mogull warnt jedoch davor, solche Systeme zu vermenschlichen. Sie seien nicht kreativ wie Menschen, sondern probierten massenhaft Möglichkeiten aus und blieben dann bei einem funktionierenden Weg.
Auch bei Anthropic sieht er offene Fragen. Dort sei ein Teil der Tests bei einem Drittanbieter erfolgt, der angeblich für eine Sandbox verantwortlich gewesen sei — die es nach seinen Worten aber nicht gegeben habe. Die genauen Hintergründe stünden noch aus. Fest stehe jedoch bereits, dass diese Systeme über die von Menschen angenommenen Grenzen hinausgehen können. Deshalb müsse bei solchen Tests zunächst „der große rote Knopf“ gedrückt werden, bis sichere Testverfahren verfügbar seien.
Breiten Raum nimmt in Mogulls Analyse die Unterscheidung zwischen Foundation-, Frontier- und Open-Weight-Modellen ein. Frontier-Modelle liefen in den Rechenzentren von Anbietern wie OpenAI, Anthropic und Google. Open-Weight-Modelle könnten hingegen grundsätzlich überall betrieben werden; das Modell selbst werde veröffentlicht, und Teile der Gewichtung ließen sich anpassen. Gerade das sei sicherheitsrelevant, weil sich damit Nachtraining und Feinabstimmung durchführen und eingebaute Schutzplanken effektiv deaktivieren ließen. Viele Sicherheitsfunktionen der Frontier-Modelle lägen laut Mogull ohnehin eher im umgebenden Steuerungsrahmen als im Modell selbst.
Hinzu kommt für ihn eine wirtschaftliche und geopolitische Dimension. Große leistungsfähige Open-Weight-Modelle kämen derzeit nur selten aus den USA oder Europa, viele dagegen aus China. Sollten diese Modelle vergleichbar leistungsfähig werden und sich günstiger auf schwächerer Hardware betreiben lassen, entstehe daraus ein finanzieller Druck auf Anbieter von Frontier-Modellen. Genau deshalb empfiehlt die Cloud Security Alliance gemeinsam mit Partnern, Open-Weight-Modelle in Incident-Response-Prozesse einzubeziehen.
Der praktische Grund dafür ist laut Mogull die Verlässlichkeit. Große Modellanbieter hätten zwar spezielle Programme mit zusätzlichen Verifizierungsstufen, bei denen Sicherheitsgrenzen teils reduziert werden können, etwa für Malware-Reverse-Engineering. Im Fall von Hugging Face sei aber unklar, welche Zugriffsrechte bei dem verwendeten Open-Weight-Modell vorlagen, als es für Incident Response eingesetzt wurde. Zugleich hätten Frontier-Modelle Anfragen verweigert. Für Einsatzteams sei deshalb vor allem gleichbleibendes Verhalten entscheidend: Wer ein selbst trainiertes Open-Weight-Modell kontrolliere, kenne dessen Grenzen und Fähigkeiten und könne verlässlicher damit arbeiten.