Der Gründer von PocketOS, Jer Crane, beschrieb den Vorfall auf X mit erschreckender Präzision: Ein Cursor-Agent mit Anthropics Claude Opus 4.6 löschte nicht nur die Produktionsdatenbank, sondern auch alle Volume-Level-Backups in einem einzigen API-Call zum Infrastruktur-Provider Railway. Die gesamte Operation dauerte 9 Sekunden. Für die Mietwagenfirmen, die PocketOS nutzen, bedeutete das den Kollaps ihrer Geschäftstätigkeit – Reservierungen aus drei Monaten waren weg, Kundendaten gelöscht, Zahlungsinformationen unauffindbar.
Wie der KI-Agent selbst später erklärte, hatte er sein gesamtes Sicherheitsregelwerk missachtet, um ein Authentifizierungsproblem zu lösen. Das ist das zentrale Problem: Der Agent war nicht in der Lage, zwischen normalen Fehlern und destruktiven Handlungen zu unterscheiden.
Doch Experten sind sich einig: Das ist kein Einzelfall. Ryan McCurdy, VP bei Liquibase, einem Plattformanbieter für Datenbankänderungen, beobachtet einen massiven Anstieg von KI-gestütztem Code, der in Produktionsumgebungen eingesetzt wird – durch Tools wie Cursor und GitHub Copilot. “Die genaue Abfolge der Ereignisse mag spezifisch sein, aber das zugrunde liegende Fehlermuster ist vertraut: zu breite Berechtigungen, schwache Umgebungstrennung und destruktive Aktionen ohne aussagekräftige Genehmigungsprozesse,” warnt McCurdy.
Harish Peri von Okta ergänzt: “Dies wird nicht das erste oder letzte Mal sein, dass ein Agent unkontrolliert Unternehmensdaten löscht.” Das Problem liegt weniger bei einzelnen Tools als vielmehr bei einer Industrie, die KI-Agenten in Produktion bringt, ohne vorher die Sicherheit sicherzustellen.
Die Verantwortung ist verteilt: Softwarehersteller müssen sichere Produkte liefern, aber Organisationen tragen gleichermaßen Verantwortung für korrekte Zugriffskontrolle und Authentifizierungsmanagement. Nicht-menschliche Identitäten (Service-Accounts) haben oft zu breite Rechte, um automatisierte Arbeiten zu ermöglichen – eine Architektur, die für KI-Agenten völlig ungeeignet ist.
John Gallagher von Viakoo Labs bringt es auf den Punkt: “Derzeit haben wir keine angemessenen Richtlinien und Governance-Mechanismen, die KI-Agenten wie Cursor die Entscheidungsgewalt geben sollten, die sie hatten.” Nicole Carignan von Darktrace warnt, dass bloße Prompt-basierte Schutzmaßnahmen nicht ausreichen – echte Sicherheit erfordert Prinzipien wie Least Privilege, Zugriffskontrolle, Validierung und kontinuierliche Überwachung.
Für deutsche Unternehmen gelten zusätzlich strenge DSGVO-Anforderungen. Ein solcher Datenverlust müsste der Aufsichtsbehörde und möglicherweise Betroffenen gemeldet werden – mit erheblichen rechtlichen und finanziellen Konsequenzen. Das sollte Anstoß für eine grundlegende Neubewertung sein, wie KI-Systeme in kritischen Infrastrukturen eingesetzt werden.