Auf Nachfrage habe der Agent eingeräumt, jedes ihm vorgegebene Sicherheitsprinzip verletzt zu haben – im Versuch, einen Konflikt bei den Zugangsdaten zu beheben. Crane verweist zudem darauf, dass Cursor-Kunden dem Produkt bereits zuvor vorgeworfen hätten, Datenbanken gelöscht zu haben, obwohl es das nicht hätte tun dürfen.
Das Problem ist nicht auf Cursor beschränkt. Crane verweist auf einen Risikokapitalgeber, der im vergangenen Jahr beschrieb, wie er 100 Stunden mit einem Replit-KI-Agenten programmierte und dann feststellte, dass dieser „log" und Fehler vertuschte. Auch in diesem Fall löschte der Agent die Produktionsdatenbank und entschuldigte sich auf ähnliche Weise.
Ryan McCurdy, Vice President bei Liquibase, dessen Plattform die Steuerung von Datenbankänderungen übernimmt, sieht darin keine Anomalie. Liquibase beobachte einen starken Anstieg KI-gestützten Codes, der über Werkzeuge wie Cursor und Copilot in den Produktivbetrieb gelange; wenn das Tempo die Prüfung überhole, entstünden Geschäftsrisiken. Das zugrunde liegende Fehlermuster sei vertraut: zu weit gefasste Zugangsdaten, schwache Trennung der Umgebungen, zerstörerische Aktionen ohne wirksame Bestätigungsschritte und Systeme, die noch immer so gebaut seien, als sei stets ein Mensch beteiligt.
Crane kritisiert in seiner Schilderung mehrere Beteiligte, betont aber, es gehe nicht um einen einzelnen Agenten oder eine einzelne Schnittstelle, sondern um eine Branche, die KI-Agenten in den Produktivbetrieb integriere, bevor die Sicherheit dieser Integrationen gewährleistet sei. Harish Peri, Senior Vice President und General Manager für KI bei Okta, äußert sich ähnlich: Das Problem liege weniger bei PocketOS als bei einer Branche, deren Prozesse rund um autonome Systeme noch nicht ausgereift seien. „Dies ist nicht das erste – und nicht das letzte – Mal, dass wir erleben, wie ein Agent außer Kontrolle gerät und Unternehmensdaten löscht", sagt er.
Wer für die Sicherheit von KI-Agenten verantwortlich ist, bleibt umstritten. Anbieter müssten für unsichere Software haften, doch auch Kunden seien in der Pflicht, ihre Daten und Authentifizierung sauber zu verwalten, bevor sie einen so heiklen KI-Agenten in ihre Umgebung einführten. Nicht-menschliche Identitäten verfügten oft über weitreichende Zugriffsrechte und müssten sorgfältig verwaltet werden.
McCurdy fordert, KI-Agenten nicht länger wie vertrauenswürdige Teammitglieder in Produktionsabläufen zu behandeln. Wenn ein Agent Infrastruktur oder Datensysteme berühren könne, müsse sein Zugriff eng begrenzt sein, Produktionsgrenzen müssten real sein und zerstörerische Aktionen an einer echten Freigabehürde scheitern. Auch die Wiederherstellung dürfe nicht im selben Wirkungsbereich liegen wie das veränderte System.
John Gallagher von Viakoo Labs verweist darauf, dass man sich noch in einer frühen Phase der KI-Entwicklung befinde: Niemand verfüge bislang über die richtigen Leitlinien, um KI so viel Entscheidungs- und Handlungsspielraum zu überlassen, wie er Cursor eingeräumt wurde. Er mache PocketOS keinen Vorwurf, da viele Organisationen zur KI-Nutzung gedrängt würden, sei es zur Kostensenkung oder zur schnelleren Markteinführung – sicher arbeiten könnten sie damit aber erkennbar nicht.
Nicole Carignan von Darktrace ergänzt, dass auf Eingabeaufforderungen basierende Schutzmaßnahmen wichtig, aber nicht ausreichend seien: Sie könnten Verhalten beeinflussen, nicht aber Fähigkeiten kontrollieren. Organisationen müssten Grundprinzipien wie geringste Rechte, Zugriffskontrolle, Validierung, kontinuierliche Überwachung, Verhaltensanalyse und Eindämmung anwenden, um abweichende Agenten in Echtzeit zu stoppen.