Anthropic sieht Sicherheitslücken statt Modellversagen hinter KI-Ausbrüchen in Tests

Anthropic beschreibt die Vorfälle als Folge unzureichender Eindämmung und Aufsicht rund um autonome KI-Systeme. Die Tests sollten prüfen, ob Claude in simulierten Cybersicherheitsumgebungen selbstständig neue Schwachstellen finden und ausnutzen kann. Üblicherweise finden diese Übungen laut Unternehmen in nicht mit dem Internet verbundenen Umgebungen statt; häufig sind auch externe Partner beteiligt.

Bei der nachträglichen Analyse stieß Anthropic auf sechs problematische Auswertungen. In einem Fall hielt Claude ein reales Unternehmen irrtümlich für das fiktive Ziel der Übung und nutzte Schwachstellen aus, um Zugriff auf Zugangsdaten und eine Datenbank mit mehreren Hundert Zeilen Produktionsdaten zu erhalten. In einem weiteren Fall veröffentlichte Claude beim Versuch, ein fiktives Ziel zu kompromittieren, ein bösartiges Python-Paket im echten PyPI-Repository. Dieses präparierte Paket landete auf 15 realen Systemen, darunter auf dem Scanner eines Sicherheitsunternehmens.

Anthropic räumt ein, dass Claude bei diesem Angriff sehr weit ging. Das Unternehmen formuliert es so: „Claude betrieb erheblichen Aufwand, um diesen Angriff auszuführen – in einem Ausmaß, das einem menschlichen Teilnehmer wahrscheinlich gezeigt hätte, dass es sich nicht mehr nur um eine Auswertung handelte und tatsächlich ein echtes PyPI-Paket hochgeladen wurde.“

Ein dritter Vorfall zeigt, wie weitreichend die Folgen der Fehlkonfiguration waren. Weil Claude sein fiktives Ziel nicht erreichen konnte, scannte das Modell rund 9.000 mit dem Internet verbundene Systeme und kompromittierte schließlich die internetseitig erreichbare Anwendung eines realen Unternehmens. Dabei setzte es laut Anthropic grundlegende Techniken ein, darunter das Auffinden offengelegter Zugangsdaten und das Ausnutzen von SQL-Injection-Schwachstellen. In diesem Fall erkannte das Modell später, dass es ein reales System kompromittiert hatte, und stellte weitere Aktivitäten ein.

In einem Blogeintrag erklärt Anthropic, die Eingabeaufforderungen hätten Claude zwar ausdrücklich mitgeteilt, dass kein Internetzugang bestehe, aber keine Grenzen vorgegeben, wo nach der Flagge gesucht werden dürfe. Genau diese Kombination aus Aufgabenstellung und Fehlkonfiguration sei ausschlaggebend gewesen. Das Unternehmen betont, es gebe keinen Hinweis darauf, dass Claude unabhängig das Ziel entwickelt habe, reale Organisationen anzugreifen. Die Modelle hätten vielmehr ihre Aufgabe verfolgt und dabei reale Systeme fälschlich als Teil der Übung betrachtet.

Für T.J. Marlin, CEO von Guardrail Technologies, liegt der Schwerpunkt der Debatte deshalb falsch. Gegenüber Dark Reading sagte er, Modelle verhielten sich nicht deterministisch, und unerwartetes Verhalten gehöre zur Funktionsweise solcher Systeme. Das eigentliche Problem sei, welche Systeme diese Agenten überhaupt erreichen durften. Die Vorfälle hätten Schwächen in den Kontrollen rund um autonome Systeme offengelegt und machten das Thema aus seiner Sicht zunächst zu einem Governance- und erst danach zu einem Modellproblem.

Ähnlich bewertet es John Walsh, Field Chief Technology Officer für Regierung sowie OT/IoT bei IGEL. Anthropic habe plausibel dargelegt, dass es sich in erster Linie um ein operatives Problem und ein Versagen der Auswertungsumgebung gehandelt habe. Zugleich zeigten die Vorfälle, dass Eingabeaufforderungen, Richtlinien und Schutzmechanismen auf Modellebene die Sicherheitslast nicht allein tragen könnten.

John Bruggeman, vCISO bei CBTS, verweist auf die Zielsetzung der Tests. Wenn ein LLM die Aufgabe erhalte, jede Schwachstelle in einer Anwendung oder einem System zu finden, müsse man damit rechnen, dass es alles „zerbricht“, um diese Schwäche aufzuspüren – einschließlich der Umgebung, in der es läuft. Deshalb sei es entscheidend, Testumgebungen strikt abzuriegeln, damit das Modell keinen Internetzugang erhält.

Anthropic kündigt als Reaktion strengere Kontrollen für interne und von Dritten betriebene Testumgebungen an. Zudem will das Unternehmen Auswertungstranskripte fortlaufend auf auffällige Aktivitäten überprüfen und bessere Werkzeuge für die Untersuchung solcher Vorfälle einsetzen.