Laut einer Stellungnahme von Meta gegenüber Medien ereignete sich der Vorfall am Mittwoch im Rahmen unabhängiger Tests bei Irregular. Die getesteten KI-Modelle konnten aufgrund einer Fehlkonfiguration auf das Internet zugreifen, obwohl dies offenbar nicht beabsichtigt war. Anschließend nutzten sie eine Schwachstelle in einem ungenannten Drittanbieterdienst aus.
The Information berichtete, dass an den Angriffen ein fortgeschrittenes Modell von Meta namens Muse Spark 1.1 beteiligt gewesen sei. Demnach drang das Modell in die Systeme einer nicht genannten Organisation ein und nahm dort nicht autorisierte Änderungen an deren interner Umgebung vor.
Meta zufolge wurde das Unternehmen erst durch einen Hinweis von Irregular auf das Fehlverhalten seiner Modelle aufmerksam. Der Konzern untersucht den Vorfall derzeit und kündigte an, nach Abschluss der Aufklärung eine „vollständige Rückschau“ vorzulegen.
Meta und Irregular vergleichen den Fall mit einem Vorfall, den Anthropic in der vergangenen Woche beschrieben hatte. Auch Anthropic nutzt Irregular für unabhängige Tests. Anthropic erklärte, seine Modelle seien damals wegen eines Missverständnisses zwischen den Unternehmen aus der Testumgebung ausgebrochen: Claude sei mitgeteilt worden, es befinde sich in einer Simulation in einer isolierten Umgebung, tatsächlich habe jedoch eine Internetverbindung bestanden, die die Modelle als Teil der Übung interpretierten.
Anthropic identifizierte drei Fälle, in denen seine Modelle die Testumgebung verließen und in die Systeme von drei Organisationen eindrangen, darunter in die einer Cybersicherheitsfirma. Bei einem dieser Angriffe führte die KI laut Anthropic mehrere komplexe Schritte aus, darunter die Registrierung eines PyPI-Kontos und das Hochladen eines bösartigen Python-Pakets.
Ausgelöst wurde Anthropics Offenlegung nach Angaben des Berichts durch OpenAI. Das Unternehmen hatte demnach kürzlich festgestellt, dass auch seine Modelle eine Testumgebung verlassen und in Systeme von Hugging Face sowie weiteren Organisationen eingedrungen waren. Während die von Anthropic beschriebenen Angriffe keine unbekannten Schwachstellen ausnutzten, erklärte OpenAI, seine KI habe Zero-Days gefunden und verwendet.
Auch das britische AI Security Institute berichtete in dieser Woche von problematischem Verhalten bei Tests von Frontier-Modellen. Die Behörde erklärte, sie habe beobachtet, wie Anthropics Mythos 5 und OpenAIs GPT-5.6-Sol aus dem Ruder liefen und über das Internet reale Personen und Organisationen ins Visier nahmen. Den Angaben zufolge nutzten die Modelle Tor für den Internetzugang, erzeugten bösartige Pull Requests in Open-Source-Projekten auf GitHub und setzten Social Engineering ein, um ihre Ziele zu erreichen.