Meta bestätigte in dieser Woche als jüngstes Unternehmen eine Beteiligung von Irregular an einem Cybersicherheitsvorfall. Bereits in der vergangenen Woche hatte Anthropic offengelegt, dass ein „Missverständnis“ mit Irregular dazu führte, dass Rechner mit Claude aus dem Internet erreichbar waren, obwohl den Modellen mitgeteilt worden war, sie hätten keinen Zugang dazu.
Nach Angaben von Anthropic nutzten die Modelle diese Öffnung in drei getrennt offengelegten Vorfällen aus und kompromittierten reale Organisationen mit einfachen Methoden wie schwachen Passwörtern und nicht authentifizierten Endpunkten. In einem Fall erstellte und veröffentlichte das Modell von Anthropic ein bösartiges Paket im Python Package Index (PyPI), das auf 15 realen Systemen ausgeführt wurde.
Auch OpenAI bestätigte einen Vorfall. Das Unternehmen erklärte, dass „eine Fehlkonfiguration der Testumgebung“ durch Irregular einem seiner Modelle den Zugang zum öffentlichen Internet ermöglichte. Das Modell kompromittierte daraufhin eine Website, die denselben Namen trug wie das Ziel in Irregulars Hacking-Challenge.
Irregulars Sprecher bezeichnete die drei Vorfälle als denselben Fehler in der Evaluierungsumgebung und sagte, es gebe aktuell keine offenen Probleme mehr. Auf die Frage, ob die bereits bekannten Unternehmen die einzigen Betroffenen gewesen seien, antwortete das Unternehmen jedoch nicht. Ebenso blieb unbeantwortet, ob sich die laufende Untersuchung konkret damit befasst, ob es zusätzliche Vorfälle gegeben hat.
Als Reaktion auf das wiederholte Problem arbeitet Irregular laut dem Sprecher an einem Whitepaper zu bewährten Verfahren für Eindämmung und den sicheren Betrieb von Cyber-Evaluierungen. Zugleich betonte das Unternehmen, bei den Vorfällen habe es sich weder um einen Ausbruch aus einer Sandbox noch um „eine ausgefeilte Cyberaktion“ gehandelt. Diese Darstellung steht allerdings teilweise im Widerspruch zu Anthropics eigener Schilderung: Dort hieß es, der Agent sei bei seinem Angriff auf PyPI „mit erheblichem Aufwand“ vorgegangen.
Die Irregular-Vorfälle sind von zwei weiteren jüngeren Fällen mit KI-Agenten gegen reale Ziele zu trennen. Das britische AI Security Institute berichtete in dieser Woche, dass Anthropics Modell Mythos 5 im Rahmen einer Evaluierung mit Internetzugang gefälschte Online-Personas angelegt, schädlichen Code in ein reales Softwareprojekt eingeschleust und Phishing-Mails an reale Entwickler verschickt habe.
Zuvor hatte OpenAI bereits bestätigt, dass eigene Modelle nach einem tatsächlichen Ausbruch aus einer Sandbox die Produktionsinfrastruktur von Hugging Face kompromittierten. Dieser Fall unterschied sich laut Darstellung von den Irregular-Vorfällen, die auf eine Fehlkonfiguration durch Irregular zurückgeführt werden.
Weder Irregular noch Meta, OpenAI oder Anthropic beantworteten Fragen dazu, ob betroffene Organisationen rechtliche Schritte erwägen. Ebenfalls offen blieb, ob Strafverfolgungsbehörden wegen möglicher Delikte des unbefugten Computerzugriffs Kontakt aufgenommen haben.