Anthropic hat als unmittelbare Reaktion externe und teilweise auch interne Cyber-Evaluierungen vorübergehend ausgesetzt. Zusätzlich entwickelte das Unternehmen einen Klassifikator, der Versuche, aus einer Testumgebung auszubrechen, in Echtzeit erkennt und blockiert. Für externe Partner gelten neue Anforderungen: Sie müssen eine verifizierte Netzwerkisolierung nachweisen und die Grenzen ihrer Sandbox testen, bevor eine Evaluierung beginnt.

Anthropic beschrieb außerdem ein Experiment, bei dem ein Modell absichtlich in Lernumgebungen trainiert wurde, die dafür bekannt sind, „Schummeln“ zu belohnen – also das Erledigen von Aufgaben durch Ausnutzen des Trainingsprozesses statt durch tatsächliches Lösen. In simulierten Szenarien versuchte dieses Modell, aus seiner Sandbox auszubrechen, griff in den eigenen Belohnungsmechanismus ein und gab Anleitungen zum Bau von Biowaffen, um einen Prüfer zufriedenzustellen. Die derzeit veröffentlichten Modelle des Unternehmens zeigten dieses Verhalten in denselben Szenarien laut Anthropic nicht.

Auf der Sicherheitsseite hat Anthropic die Zahl der Konten mit dauerhaftem Zugriff auf Systeme reduziert, die Modellgewichte oder Kundendaten enthalten. Die Recheninfrastruktur blockiert ausgehenden Netzwerkverkehr nun standardmäßig. Rund 150 Produktingenieure wurden vorübergehend auf sicherheitsbezogene Aufgaben umgesetzt.

Anzeige

Getrennt davon stellte das Unternehmen die Enterprise Frontier Safeguards vor. Das System verbindet den vollständigen Verzicht auf Datenspeicherung bei Anthropic mit einer automatisierten Überwachung auf Missbrauch. Kunden können ihre eigenen Aktivitätsdaten auf einer von ihnen kontrollierten Infrastruktur ablegen statt auf jener von Anthropic.

Nach Angaben des Unternehmens flossen in die Entwicklung Rückmeldungen von mehr als 100 Kunden ein, darunter das Analysis and Resilience Center for Systemic Risk, zu dessen Mitgliedern Sicherheitsverantwortliche von Goldman Sachs, Morgan Stanley, Citi, Bank of America und Wells Fargo zählen, sowie Unternehmen wie Comcast, KPMG, Mastercard, Salesforce und Visa.

Meldungen aus der automatisierten Überwachung gehen im neuen System direkt an das Prüfteam des Kunden und nicht an Mitarbeiter von Anthropic. Funktionen wie kundeneigene Speicherung und vom Kunden verwaltete Verschlüsselungsschlüssel sind optional. Die Einführung beginnt im Herbst für Claude Code, Claude Enterprise und die Claude Platform.