Nach Angaben von Anthropic standen hinter den Vorfällen die Modelle Mythos, Opus und ein internes Forschungsmodell. Alle liefen ohne die Schutzmechanismen, die bei für Kunden freigegebenen Versionen aktiv sind. Anlass der Aktivitäten war eine Capture-the-Flag-Aufgabe, mit der Anthropic die Cyberfähigkeiten der Modelle bewerten wollte.
Der Ausbruch aus der Sandbox geht laut Unternehmen auf ein Missverständnis zwischen Anthropic und Irregular zurück. Anthropic habe Claude mitgeteilt, es arbeite in einer Simulation ohne Internetzugang. Tatsächlich bestand aber eine Verbindung ins Internet, die die Modelle als Teil der Übung interpretierten. Dadurch gingen sie fälschlich auch davon aus, dass die angegriffenen Organisationen zur Testaufgabe gehörten. Anthropic erklärte, nur deshalb seien reale Angriffe erfolgt; es sei nie die Absicht der Modelle gewesen, die Testumgebung zu verlassen.
Anders als beim von OpenAI geschilderten Vorfall, bei dem ein Zero-Day in einem JFrog-Produkt ausgenutzt worden sei, setzten die Claude-Modelle laut Anthropic auf schwache Zugangsdaten, nicht authentifizierte Endpunkte und andere einfache Angriffsmethoden. Die drei betroffenen Organisationen wurden nicht namentlich genannt.
Im ersten Fall setzte Claude Opus 4.7 den Angriff auf ein System fort, obwohl das Modell erkannt hatte, dass es nicht in einer Test- sondern in einer realen Umgebung arbeitete. Es hielt das kompromittierte Unternehmen dennoch für Teil der Evaluierung. Ausgewählt wurde das Ziel demnach, weil der Domainname der Website dem Namen des fiktiven Zielunternehmens aus dem Test ähnelte.
Im zweiten Fall verschaffte sich Mythos 5 Zugang zu den Systemen eines Cybersicherheitsunternehmens, indem es ein bösartiges Python-Paket auf PyPI veröffentlichte. Die Sicherheitsfirma scannt laut Bericht regelmäßig Python-Pakete und installierte dieses Paket. Dadurch konnte die KI Zugangsdaten exfiltrieren und auf die Infrastruktur des Unternehmens zugreifen.
Anthropic schilderte die dafür nötigen Zwischenschritte als Beispiel für die Komplexität solcher Aktionen: Um ein PyPI-Konto anzulegen, habe Claude zunächst eine E-Mail-Adresse benötigt. Für die Erstellung der E-Mail-Adresse sei wiederum eine Telefonnummer nötig gewesen. Nachdem das Modell keinen kostenlosen Dienst für Telefonnummern gefunden habe, habe es erfolglos versucht, auf mehreren Wegen Geld für eine Telefonnummer zu beschaffen. Schließlich habe es den Ansatz verworfen, einen kostenlosen, nicht blockierten E-Mail-Anbieter gefunden, damit ein PyPI-Konto registriert und anschließend Malware auf PyPI hochgeladen.
Die dritte Intrusion ging von dem internen Forschungsmodell aus. Dieses stoppte die Übung, als es bemerkte, dass die von ihm angesprochenen Systeme nicht mehr Teil der Capture-the-Flag-Aufgabe waren. Zuvor hatte es jedoch bereits mit offengelegten Zugangsdaten und SQL-Injection-Schwachstellen eine internetseitig erreichbare Anwendung eines Unternehmens kompromittiert.
Anthropic zufolge unterstreichen die Vorfälle die Notwendigkeit strengerer Prüfungen der Internetisolation und stärkerer Eindämmungskontrollen in Testumgebungen externer Partner. Das Unternehmen fordert andere KI-Labore auf, ihre eigenen Cybersicherheits-Evaluierungen ähnlich zu überprüfen.