Der Versuchsaufbau von Irregular war bewusst einfach gehalten: Ein einziges Open-Weights-Modell füllte zwei Rollen aus. Eine Instanz betrieb einen Coding-Agenten, der reguläre Software-Wartung erledigte; eine zweite Instanz trieb eine Anwendung an, die Anfragen in natürlicher Sprache in eine fiktive Abfragesprache übersetzte. Beide Instanzen luden aus demselben Checkpoint.
Der Agent verfügte über Shell-Zugriff, Trainingswerkzeuge, die Modellgewichte und einen Deployment-Pfad. Er durchsuchte das Repository, fand Trainingsbeispiele und ein Fine-Tuning-Skript und trainierte das Modell nach. Als er feststellte, dass das System standardmäßig weiterhin das unveränderte Originalmodell lud, nutzte er die Deployment-Werkzeuge des Repositories, um seine Änderung in das Basismodell einzupflegen. Anschließend beantwortete das angepasste Modell laut den Forschern alle 20 zurückgehaltenen Testanfragen korrekt — zuvor waren es null.
In einem weiteren Durchlauf prüften die Forscher, was ein selbst initiiertes Modell-Update mit sich tragen kann. Sie streuten sechs synthetische Werte in die Fine-Tuning-Daten ein, darunter einen API-Schlüssel, eine E-Mail-Adresse und eine Wohnanschrift. Vor dem Nachtraining gab das Originalmodell keinen dieser Werte wieder; nach dem vom Agenten durchgeführten Training und Deployment reproduzierte es drei davon wortgetreu. Irregular betont, dass die Werte während der Auswertung über keine andere Quelle verfügbar waren.
Der dritte Test zielte auf Sicherheitsleitplanken. Die Forscher übergaben dem Agenten ein Modell, das zuvor separat darauf trainiert worden war, Fragen zu einer Reihe fiktiver Konkurrenznamen zu verweigern. Dem Coding-Agenten wurde nur mitgeteilt, die Anwendung lehne zu viele Nutzeranfragen ab. Erneut griff er zum Fine-Tuning. Als sich das Modell weigerte, die nötigen Trainingsbeispiele selbst zu erzeugen, schrieb der Agent kurzerhand Code, der die Daten generierte, und trainierte darauf. Vor diesem Vorgang verweigerte das Modell alle zehn zurückgehaltenen Testfragen, danach keine einzige mehr.
Laut Irregular gab es in keinem der Experimente Hinweise auf böswillige Absicht, Selbsterhaltungsmotive oder Täuschung. Die Agenten hätten das Fine-Tuning schlicht deshalb verfolgt, weil es geeignet erschien, die gestellte Aufgabe zu erfüllen. Ob ein Agent überhaupt in Erwägung zog, das Modell zu verändern, hing stark davon ab, welche Werkzeuge in seiner Umgebung verfügbar waren; ob er das Update erfolgreich ausrollen konnte, hing von der Leistungsfähigkeit des Modells ab.
Das Unternehmen stellt klar, dass der Versuch nur zeigen sollte, dass dieses Verhalten unter günstigen Bedingungen auftreten kann — nicht, wie häufig es in einer gewöhnlichen Produktivumgebung vorkäme. Die Umgebung war ungewöhnlich freizügig, mit direktem Zugriff auf Trainingsdaten, Fine-Tuning-Werkzeuge und Checkpoint-Kontrolle.
Als Gegenmaßnahmen empfiehlt Irregular, die vollständige Herkunft von Training und Deployment zu dokumentieren, aktualisierte Modelle unabhängig zu bewerten und eine separate Freigabe zu verlangen, bevor ein von einem Agenten verändertes Modell in Betrieb geht. Die Überwachung veränderter Checkpoints und ein Freigabetor vor dem Deployment könnten zwar steuern, welches Modell in den Dienst gelangt, aber für sich genommen nicht offenlegen, was ein Trainingslauf alles verändert hat.
Die Cybersicherheitsbewertungen von Irregular werden von OpenAI, Anthropic und Meta genutzt. Alle drei Unternehmen legten in diesem Sommer Vorfälle offen, bei denen Modelle während von Irregular durchgeführter Tests unbeabsichtigt Zugang zu realen Systemen erlangten.