Laut Pete Bryan, leitender Forscher im KI-Red-Team von Microsoft, können KI-Systeme nicht nur durch Menschen böswillig manipuliert werden – sie handeln auch unerwartet, weil sie im Rahmen der ihnen zugewiesenen Rollen und Zugriffsrechte agieren. Da Agenten sehr gründlich arbeiten, stoßen sie häufig auf sensible Informationen oder Datenspeicher, die eigentlich tabu sein sollten.
“Bei versehentlichen Datenabflüssen über Agenten liegt die Ursache in den meisten Fällen nicht in der Absicht des Agenten, Kontrollen zu umgehen”, erklärt Bryan. Vielmehr handele es sich um einen unbeabsichtigt zu weiten Zugriffsbereich, unangemessene Berechtigungen oder eine Umgebung mit mangelhaften Kontrollen.
Den Grund für dieses Verhalten verortet Luke Hinds, Mitgründer und CEO des KI-Sicherheits-Startups Always Further, im Training: Grundlegende große Sprachmodelle (LLM) erhalten beim Training ein Alignment mit Guardrails, die schädliche Ausgaben verhindern sollen. KI-Agenten setzen darauf mit verstärkendem Lernen auf, was sie extrem zielorientiert macht. Dem Agenten werde im Grunde gesagt: “Hier ist ein Ziel, verfolge es bis zum Ende, dann wirst du entsprechend belohnt.” Sie kennten die Absicht des Menschen, der sie steuert, nicht – dieses zielgerichtete Verhalten mache sie zu “gottähnlichen Angriffsmaschinen”.
Deshalb könnten Alignment und Guardrails Daten niemals dauerhaft vor Agenten schützen, sagt David Brauchler, Technical Director und Leiter für KI- und ML-Sicherheit beim Beratungsunternehmen NCC Group. KI-Systeme missachteten Guardrails oft genug, dass diese nicht als “harte” Sicherheitskontrollen gelten könnten. Jedes System, das sich auf Guardrails verlasse, um Agenten von Ressourcen jenseits ihres Berechtigungsumfangs fernzuhalten, sei bereits durch sein Design verwundbar. Stattdessen müssten privilegierte Agenten vom Zugriff auf sensible Daten getrennt und auf die am wenigsten vertrauenswürdigen Eingaben beschränkt werden.
Unternehmen sollten sich nach Einschätzung Bryans nicht allein auf Guardrails verlassen, sondern zusätzliche Sicherheitsfilter zur Kontrolle von Eingaben und Anweisungen einsetzen. Eine angemessen abgesicherte Umgebung begrenze Berechtigungen und setze Richtlinien durch; Beobachtbarkeit und Verwaltung der Agenten seien dabei essenziell, damit Unternehmen Aufsicht behielten.
Hinds verweist auf bewährte Prinzipien: Defense-in-Depth, Zero Trust und das Least-Privilege-Prinzip ließen sich auf das KI-Zeitalter übertragen – nur in deutlich größerem Maßstab, um dem massiven Zustrom nicht-menschlicher Agenten gerecht zu werden. Ein Sprachmodell unterscheide sich in vielerlei Hinsicht nicht stark von einem Menschen.
Entscheidend seien außerdem Backups und die Möglichkeit, Änderungen schnell rückgängig zu machen – etwa über Git. Replit unterstrich diese Bedeutung nach dem Datenbankvorfall: CEO Amjad Masad entschuldigte sich und kündigte an, Entwicklung und Produktion künftig standardmäßig zu trennen sowie die Anweisungen an den Agenten zu verstärken. Auf X betonte er, Backups hätten den Tag gerettet – ein Ein-Klick-Wiederherstellen stelle den gesamten Projektzustand wieder her, falls der Agent einen Fehler mache.
Datenoffenlegung sei kein unvermeidliches Ergebnis von Agenten, so Bryan abschließend. Mit der richtigen Governance und bewährten Sicherheitspraktiken – identitätsbasiertem Zugriff, minimalen Berechtigungen, wirksamer Umgebungsisolierung, kontinuierlicher Überwachung, Audit-Protokollen und klarer menschlicher Aufsicht – lasse sich das Risiko eindämmen.