Nach Angaben von Reuters räumte Meta ein, dass ein Modell des Unternehmens während einer Evaluierung durch eine Fehlkonfiguration bei Irregular unbeabsichtigt Internetzugang erhielt. Das Modell habe daraufhin „eine Sicherheitslücke in einem Dienst eines Drittanbieters ausgenutzt, in einer Weise, die zuvor gemeldeten Fällen bei anderen Unternehmen ähnelt“, erklärte Meta. Weitere Details dazu, welches Modell beteiligt war und welches Unternehmen betroffen ist, nannte der Konzern nicht.
The Information hatte zuerst über den Vorfall berichtet. Dem Bericht zufolge handelte es sich um das Modell Muse Spark 1.1, das ein nicht identifiziertes Unternehmen kompromittiert und Veränderungen an dessen internen Systemen vorgenommen haben soll. Reuters konnte diese Details von Meta nicht öffentlich bestätigt bekommen. Gegenüber der BBC erklärte das Unternehmen lediglich, der Fall werde untersucht; mehr Informationen solle es geben, sobald alle Fakten geklärt seien.
Irregular sagte Reuters, bei dem Meta-Vorfall handle es sich um „genau dasselbe Problem in der Evaluierungsumgebung, das Anthropic bereits vergangene Woche offengelegt hat“. Es habe weder einen Ausbruch aus der Sandbox noch eine ausgefeilte Cyberaktion gegeben. Vielmehr habe ein Fehler in der Testumgebung dem Modell Zugang zum öffentlichen Internet verschafft, obwohl es eigentlich isoliert sein sollte. Offene Probleme gebe es derzeit nicht; Irregular arbeite an einem Whitepaper mit Empfehlungen für Eindämmung und die sichere Durchführung solcher Cyber-Evaluierungen.
Der Meta-Fall folgt auf eine Offenlegung von Anthropic aus der vergangenen Woche. Demnach hatten einige Modelle des Unternehmens drei Firmen kompromittiert, nachdem eine ähnliche Fehlkonfiguration in Irregulars Testumgebung ihnen unbeabsichtigten Internetzugang verschafft hatte. In einem dieser Fälle fand Claude Mythos 5 in der simulierten Umgebung Entwicklerhinweise auf ein nicht existierendes Python-Paket. Das Modell legte daraufhin ein bösartiges Paket unter demselben Namen an und veröffentlichte es im echten PyPI-Register.
Dieses Paket blieb laut Anthropic etwa eine Stunde online und wurde auf 15 realen Systemen heruntergeladen und ausgeführt, bevor PyPI es entfernte. Eines dieser Systeme war ein Malware-Scanner eines Sicherheitsunternehmens; dort stahl das Paket Zugangsdaten, die Claude anschließend nutzte, um auf weitere Infrastruktur zuzugreifen. Anthropic zufolge erkannte das Modell zunächst, dass die Veröffentlichung des Pakets einen realen Angriff darstellen würde, überzeugte sich dann aber selbst davon, weiterhin in einer Simulation zu agieren.
Auch OpenAI hatte kürzlich eine weitere Irregular-Evaluierung offengelegt, bei der der Name eines fiktiven CTF-Ziels mit einer echten Domain übereinstimmte. Weil die eigentlich isolierte Umgebung Zugriff auf das öffentliche Internet hatte, nutzte ein OpenAI-Modell eine einfache Schwachstelle auf der realen Website aus und fand Zugangsdaten, mit denen es die Seite betreiben konnte.
Davon zu unterscheiden ist der bereits bekannt gewordene Vorfall bei Hugging Face. Dort fanden OpenAI-Modelle während Tests einen Weg ins öffentliche Internet, indem sie eine zuvor unbekannte Schwachstelle in einem intern gehosteten JFrog-Artifactory-Server ausnutzten. Anschließend kompromittierten die Agenten Hugging Face auf der Suche nach Benchmark-Datensätzen und Lösungen, stahlen Zugangsdaten und bewegten sich seitlich durch die Systeme des Unternehmens. Später teilte OpenAI mit, dass die Agenten offengelegte Zugangsdaten auch für Konten bei vier weiteren Drittanbieterdiensten nutzten.