Irregular hatte zuvor offengelassen, ob neben den von OpenAI, Anthropic und Meta bekannt gemachten Fällen noch weitere Vorfälle aufgetreten sind. Alle drei Unternehmen erklärten, ihre Modelle hätten bei Tests durch Irregular das öffentliche Internet erreicht; für die nachfolgenden Angriffe auf Netzwerke Dritter machten sie jeweils eine Form von Fehlkonfiguration der Testumgebung verantwortlich. Auf Nachfragen von Recorded Future News zu den am Freitag veröffentlichten Ergebnissen reagierte das Unternehmen nicht.
Auch in seinem neuen Beitrag vermeidet Irregular eine Gesamtsumme. Stattdessen ist von „mehreren“, „einer Handvoll“ und der „überwiegenden Mehrheit“ der Fälle die Rede, in denen Modelle „außerhalb ihrer Testumgebungen auf eine Weise handelten, die Auswirkungen auf die reale Welt hatte“. Alan Woodward, Informatikprofessor an der University of Surrey, kritisierte, der Bericht sei kein technischer Bericht im eigentlichen Sinn; darin stecke viel Marketing.
Irregular argumentiert, die bereits öffentlichen Offenlegungen bezögen sich auf „dasselbe zugrunde liegende Problem“. Weil die Aktivitäten aus „einem einzigen Evaluierungsszenario“ hervorgegangen seien, handle es sich unabhängig von der Zahl betroffener Dritter nicht um „wesentlich getrennte Vorfälle“. Wenig später beschreibt das Unternehmen Internetzugang jedoch als breiteres Problem im Zusammenhang mit „vielen verschiedenen Vorfällen bei mehreren Organisationen“. Für Woodward ist das ein Widerspruch: Eine gemeinsame Grundursache sei nicht dasselbe wie ein einzelner Vorfall; die Formulierungen verschleierten das eigentliche Problem.
Anthropic hatte in seiner Offenlegung drei Vorfälle beschrieben: einen Angriff auf ein reales Unternehmen, das denselben Namen wie ein fiktives Ziel im Testszenario trug, einen Supply-Chain-Vorfall rund um den Python Package Index und einen weiteren Fall, in dem ein Modell Tausende Ziele scannte, bevor es eine SQL-Injection-Schwachstelle bei einem realen Unternehmen ausnutzte. Meta meldete separat, eines seiner Modelle habe während einer Irregular-Evaluierung in ein Unternehmen eingedrungen. OpenAI räumte ein, dass eines seiner Modelle etwas Ähnliches getan habe.
Irregulars Blogbeitrag behandelt allerdings nur den von Anthropic beschriebenen Fall der Domain-Kollision. Das Unternehmen führt die Übereinstimmung mit einer realen Domain auf „menschliches Versäumnis“ zurück und erklärt zugleich, die reale Domain sei „nicht weithin bekannt“ gewesen, der Zusammenhang sei bei der ersten Prüfung nicht erkannt worden. Als Lehre nennt Irregular unter anderem, dass sich neu registrierte Domains nachträglich mit fiktiven Entitäten eines bereits entworfenen Tests überschneiden können.
Woodward sieht darin drei unterschiedliche Ursachenbeschreibungen zugleich: einen Prozessfehler, eine unvermeidbare Begrenzung und einen Zeiteffekt. Welche davon in diesem Fall tatsächlich ausschlaggebend gewesen sei, lasse der Beitrag offen. Das sei relevant, weil eine von Irregular vorgeschlagene Gegenmaßnahme — die fortlaufende erneute Validierung von Evaluierungsumgebungen — nur direkt das Szenario adressiere, dass eine Domain erst nach Erstellung der Evaluierung relevant geworden sei.
Kritik gibt es auch an Irregulars Aussage, es gebe „keine Hinweise darauf, dass Systeme von Kunden kompromittiert oder Kundendaten offengelegt wurden“. Woodward bemängelt die Platzierung dieses Satzes, weil er nur für Anthropic, OpenAI und Meta gelte, nicht aber für die betroffenen Dritten. Gerade Anthropic hatte berichtet, sein Modell habe bei einem realen Unternehmen Zugangsdaten extrahiert und eine Produktionsdatenbank erreicht. Die Aussage sei „wahrscheinlich so gemeint wahr“, könne an dieser Stelle aber irreführend wirken.
Zack Korman, Geschäftsführer des auf Cybersicherheit spezialisierten KI-Unternehmens Embroidery, nannte den Beitrag eine peinliche Aufarbeitung der OpenAI- und Anthropic-Sicherheitsvorfälle und sprach von Ausflüchten. Justin Elze, Technikchef der Sicherheitsberatung TrustedSec, kritisierte Widersprüche bei den Gegenmaßnahmen: Irregular schreibt einerseits, bestehende Überwachungswerkzeuge seien für Evaluierungsprotokolle schlecht geeignet und manuelle Prüfung reiche wegen des Datenvolumens nicht aus. Andererseits zählt das Unternehmen eine deutliche Ausweitung manueller Prüfungen von Modellaktionen zu seinen wichtigsten Schutzmaßnahmen.
Woodward bemängelte außerdem, dass dem Bericht Datumsangaben, benannte Verantwortliche für Korrekturmaßnahmen und Kriterien fehlten, anhand derer Verbesserungen unabhängig überprüft werden könnten. „Nichts in dem Beitrag ist für einen außenstehenden Leser widerlegbar“, sagte er.
Irregular bekräftigte, es gebe derzeit „keine aktiven Probleme“, erklärte aber zugleich, die Prüfung laufe noch. Geplant sei ein offenes Whitepaper zu bewährten Verfahren für die Sicherheit von Evaluierungen, einschließlich Standards für den Internetzugang bei Tests vor der Bereitstellung; einen Veröffentlichungstermin nannte das Unternehmen nicht.
Die Debatte fällt in eine breitere Prüfung der Frage, wie KI-Unternehmen und ihre Sicherheitsdienstleister Fehlschläge bei der Abschottung von Modelltests melden. Das U.S. AI Security Institute veröffentlichte in diesem Monat einen technischen Bericht über nicht genehmigte Aktivitäten in eigenen Evaluierungsläufen, nannte die beteiligten Modelle, bezifferte Anzahl und Art der Vorfälle, lieferte Zeitstempel der Entdeckungen und sagte eine unabhängige Überprüfung zu. Nach Angaben eines Sprechers des Instituts ergab die Untersuchung dort keinen Schaden; Betroffene und Plattformen seien informiert worden. Irregular legte keine vergleichbaren Angaben vor und sagte auch nicht, ob von seinen Evaluierungen betroffene Dritte benachrichtigt wurden.