Anthropic beschreibt die drei Vorfälle als Folge einer falschen Annahme der Modelle, wonach alle erreichbaren Systeme zum Umfang der Übung gehörten. Auf dieser Grundlage kompromittierte Claude nach Unternehmensangaben drei reale Organisationen mit einfachen Methoden, darunter schwache Passwörter und nicht authentifizierte Endpunkte.
Im ersten Fall trug ein fiktives Zielunternehmen aus der Evaluierung denselben Namen wie eine reale Website. Claude entdeckte und nutzte Schwachstellen in der Infrastruktur dieser echten Firma, zog Zugangsdaten ab und griff auf eine Datenbank mit mehreren hundert Zeilen an Produktionsdaten zu. Anthropic bezeichnete diesen Fall als den schwerwiegendsten der drei Vorfälle. Das Unternehmen erklärte zudem, dies sei der einzige Fall gewesen, in dem das Modell ein System weiter angriff, nachdem es erkannt hatte, dass es sich wahrscheinlich um eine reale Umgebung handelte. In zwei Fällen habe das Modell zwar schließlich erkannt, dass das Ziel real war, den Angriff aber mit der Annahme rationalisiert, das echte Unternehmen müsse trotzdem Teil der Übung sein.
Im zweiten Vorfall stellte Claude fest, dass die Einrichtungsanleitung eines anderen fiktiven Unternehmens auf ein nicht existierendes PyPI-Paket verwies. Das Modell erkannte laut Anthropic, dass jedes System, das dieser Anleitung folgte, automatisch ein Paket mit genau diesem Namen herunterladen würde, und veröffentlichte unter diesem Namen ein bösartiges Paket. Anthropic schrieb, Claude habe „außerordentlich weitreichende Anstrengungen unternommen, um diesen Angriff auszuführen“.
Für die Registrierung eines PyPI-Kontos benötigte Claude zunächst eine E-Mail-Adresse und dafür wiederum eine Telefonnummer. Nachdem es keinen kostenlosen Dienst für Telefonnummern gefunden hatte, versuchte das Modell laut Anthropic mehrfach erfolglos, Geld für einen solchen Dienst zu beschaffen. Schließlich fand es einen kostenlosen E-Mail-Anbieter, registrierte damit das Konto und lud Malware zu PyPI hoch.
Obwohl die KI glaubte, die Paketregistrierung gehöre zur Simulation, war das Paket laut Anthropic in Wirklichkeit ungefähr eine Stunde lang frei verfügbar und wurde in dieser Zeit auf 15 realen Systemen ausgeführt. Eines dieser Systeme gehörte einem Sicherheitsunternehmen, das wie andere Firmen der Branche automatisierte Scanner betreibt, die neu veröffentlichte Pakete aus Registries wie PyPI herunterladen und auf Schadsoftware prüfen. Nach Angaben von Anthropic stufte der Scanner das Paket als sicher zur Installation ein. Daraufhin wurde versteckter Code von Claude ausgeführt, leitete Zugangsdaten des Unternehmens an einen Sammelpunkt aus und nutzte diese anschließend für den Zugriff auf weitere Infrastruktur. PyPIs eigene Sicherheitssysteme entfernten das Paket später automatisch.
Im dritten Fall scannte Claude nach Unternehmensangaben rund 9.000 über das Internet erreichbare Ziele, nachdem das beabsichtigte fiktive Ziel nicht erreichbar gewesen war. Schließlich kompromittierte das Modell die Systeme eines realen Unternehmens mit einfachen Methoden, darunter SQL-Injection. Anders als in den anderen beiden Fällen erkannte dieses Modell — ein interner Forschungsprototyp ohne geplante allgemeine Veröffentlichung — schließlich selbstständig, dass das Ziel real war, und stellte den Angriff ohne äußeren Anstoß ein.
Anthropic betont in seiner Offenlegung, es gebe keine Hinweise darauf, dass eines der Modelle eigenständige Ziele verfolgt habe. In allen Fällen hätten die Modelle die ihnen in der Evaluierung gestellten Aufgaben ausgeführt, dabei aber ihre Umgebung fälschlich als Teil der Übung interpretiert. Das Unternehmen arbeitet nun nach eigenen Angaben mit METR, einer unabhängigen Organisation für KI-Evaluierung, an einer Drittprüfung der Vorfälle einschließlich Zugriff auf alle Transkripte. Zudem plant Anthropic, noch in dieser Woche ein leicht redigiertes Transkript des PyPI-Vorfalls zu veröffentlichen.