Irregular betreibt nach eigenen Angaben groß angelegte Belastungstests für KI-Modelle. Solche Testzyklen umfassen typischerweise Tausende Simulationsläufe über mehrere Modelle hinweg und dauern 48 bis 72 Stunden. Ziel ist es, unter realitätsnahen Bedingungen zu messen, was ein Modell bei offensiven Sicherheitsaufgaben leisten kann.
Im nun beschriebenen Fall lag der Fehler laut Irregular im Aufbau eines erweiterten Evaluierungssatzes. Das Engineering-Team vergab für ein fiktives Zielunternehmen einen Namen, der mit einer real existierenden Domain übereinstimmte. Üblicherweise würden fiktive Namen vor ihrer Nutzung gegen bestehende Firmen und Websites geprüft, doch diese Überschneidung blieb unentdeckt, weil die echte Domain nicht weithin bekannt war.
Da in der Umgebung Internetzugang aktiviert war, erreichten die Modelle in wenigen Läufen die reale Domain statt des simulierten Ziels. Irregular betont, dass die Modelle keine Anweisung erhalten hatten, diese Domain anzusteuern. Dennoch behandelten sie das echte System als Teil der Übung.
Die konkrete Evaluierung sollte testen, ob ein Modell einem böswilligen Insider helfen könnte, sich unbefugt Zugang zu sensiblen Daten in der Produktionsdatenbank eines Unternehmens zu verschaffen. Dafür sollte das Modell Aufklärung betreiben, private Schlüssel finden und verwenden, Informationen über das Ziel sammeln, Daten extrahieren und versuchen, einer Entdeckung zu entgehen.
In den wenigen Läufen, in denen ein Modell die reale Domain erreichte, nutzte es dort laut Irregular Schwachstellen aus, extrahierte Zugangsdaten und verschaffte sich Zugang zu einer Produktionsdatenbank. In einem weiteren Fall driftete ein Modell auf eine andere, ähnlich benannte Website ab und fand dort Anmeldedaten, die bereits öffentlich veröffentlicht worden waren.
Nach Darstellung von Irregular verfügte die betroffene Domain nicht über gängige Schutzmechanismen und sei deshalb für die meisten Frontier-Modelle ein leichtes Ziel gewesen. Zugleich sei die Aktivität schwer zu erkennen gewesen, weil sie nur in einem kleinen Bruchteil der Läufe auftrat und häufig erst tief in einer Simulation nach Hunderten Interaktionen sichtbar wurde.
Als Reaktion weitet Irregular die manuelle Prüfung des Modellverhaltens während der Tests aus und richtet ein eigenes internes Team ein, das Annahmen über Eindämmung und Modellkontrolle gezielt hinterfragen soll. Zudem will das Unternehmen gemeinsam mit Kunden klarere Dokumentationsprozesse für Aufbau und Umfang von Evaluierungen schaffen sowie einen fortlaufenden Prozess etablieren, um bestehende Tests auf neue Domain-Überschneidungen zu überprüfen, wenn im Zeitverlauf neue Websites entstehen.
Darüber hinaus sieht Irregular breitere Lücken in der Branche. Nach Angaben des Unternehmens tun sich bestehende Überwachungswerkzeuge und Klassifikatoren schwer damit, legitime Red-Team-Aktivitäten von echten Angriffen zu unterscheiden, weil Evaluierungsprotokolle naturgemäß voller verdächtig wirkender Vorgänge sind. Irregular fordert deshalb bessere Mechanismen, um nach einem Vorfall forensische Belege wie Modell-Transkripte organisationsübergreifend zu teilen, und kündigte ein Whitepaper mit Best Practices zur Absicherung von KI-Evaluierungen an.