Gartner: Hochautonome KI-Agenten lassen sich derzeit nicht vollständig absichern

Xu konzentrierte sich in seinem Vortrag auf individuell entwickelte Agenten, die Organisationen in ihren eigenen Umgebungen einsetzen. Nach seiner Darstellung sind heute rund 90 Prozent der agentischen KI-Angebote nur gering autonom. Die restlichen 10 Prozent seien jedoch hochautonome Agenten mit breitem Zugriff auf Werkzeuge und Daten sowie der Freiheit, zur Laufzeit eigenständig den besten Weg zur Aufgabenerfüllung zu bestimmen.

Gerade diese Systeme seien aus Sicherheitssicht ein offenes Problem. Xu sagte, große Sprachmodelle würden „immer“ anfällig für Jailbreaks und Prompt-Injection-Angriffe bleiben. Selbst mit umfangreichen Schutzmechanismen könnten Unternehmen solche Angriffe nicht in allen Fällen verhindern. Jailbreaks seien der wichtigste Grund dafür, dass KI-Agenten riskant seien.

Hinzu komme, dass heutige KI-Systeme, einschließlich neuer Frontier-Modelle, bei ihrer Schlussfolgerung nicht vollständig verlässlich seien. Treffen unzuverlässige Entscheidungen auf privilegierten Systemzugriff, hohe Autonomie und Zugang zu sensiblen Daten, entstehe die Grundlage für einen außer Kontrolle geratenden Agenten.

Brian P. Murphy, Chief Scientist bei ReliaQuest, sagte Dark Reading, Unternehmen müssten Transparenz über Aktivität und Verhalten ihrer Agenten herstellen, um Worst-Case-Szenarien zu vermeiden. Aus seiner Sicht sind diese Szenarien derzeit die größere Sorge als Fälle, in denen externe Angreifer Agenten für böswillige Zwecke kapern. Seine größere Befürchtung sei nicht, dass Angreifer den Speicher eines Agenten vergiften, sondern dass der Agent seinen eigenen Speicher vergifte.

Als ersten notwendigen Schritt nannte Xu die Erkennung vorhandener Agenten im Netzwerk. Ein wirksames Sicherheitsprogramm setze voraus, dass Unternehmen ihre Agenten überhaupt sehen können. Das könne etwa durch das Scannen von Code-Repositories oder durch Monitoring mit Extended Berkeley Packet Filter, kurz eBPF, erfolgen.

Danach folge das Management der KI-Sicherheitslage. Dieser Bereich sei, so Xu, „äußerst kompliziert“, weil dabei nicht nur der Agent selbst betrachtet werden müsse, sondern auch seine Berechtigungen in der Umgebung, seine Fähigkeiten und die zugrunde liegende Infrastruktur, etwa MCP-Server. Außerdem müsse diese Bewertung kontinuierlich erfolgen, weil Agenten auch im laufenden Betrieb überwacht werden müssten. Komponenten könnten sich nach dem Start in die Produktion verändern; derselbe Agent, der anfangs geprüft wurde, sei im Produktivbetrieb womöglich nicht mehr derselbe.

Als dritten Schritt empfahl Xu Penetrationstests und Red Teaming. So lasse sich prüfen, ob Agenten zu weitreichende Rechte besitzen und auf Daten oder Systeme außerhalb ihres vorgesehenen Zwecks zugreifen. Laut einer aktuellen Studie des Sicherheitsanbieters Akeyeless unter mehr als 400 IT- und Sicherheitsverantwortlichen gaben 84 Prozent an, dass ihre KI-Agenten auf sensible Daten zugreifen können. 67 Prozent glauben, dass Agenten bereits auf Daten zugegriffen haben, auf die sie nicht hätten zugreifen sollen.

Abschließend forderte Xu starke Schutzmechanismen für Agenten. Dazu gehörten Abwehrmaßnahmen gegen Prompt Injections, Schutz vor spezifischen Techniken wie Memory Poisoning sowie Überwachung besonders riskanter Aktionen wie dem Löschen von Produktionsdatenbanken. Ebenso wichtig sei die Erkennung „toxischer Kombinationen“ aus Werkzeugen und Datennutzung. Als Beispiel nannte Xu einen Agenten mit Zugriff auf eine CRM-Datenbank und Web-Abrufwerkzeuge, der sich potenziell dazu manipulieren ließe, sensible Kundendaten abzurufen und auf einer bösartigen Website zu veröffentlichen.

Entscheidend sei deshalb eine verhaltensbasierte Erkennung, die die Aktivitäten eines Agenten zur Laufzeit kontinuierlich auf Abweichungen vom Normalzustand prüft. Auch dafür gebe es jedoch nach Xus Worten keinen einfachen Weg; der Bereich sei noch jung, und belastbare Lösungen seien nicht etabliert. Als praktische Maßnahme nannte er den Abgleich der beobachteten Agentenabsicht mit der Absicht von Organisation und Entwicklern. Wenn eine Sicherheitsabteilung etwa über 30 Tage feststellt, dass ein Agent nur eines seiner Werkzeuge und nur zwei seiner erteilten Berechtigungen nutzt, könne das ein Hinweis auf übermäßige Rechtevergabe sein. Konzepte wie die passgenaue Vergabe von Berechtigungen und Werkzeugen seien daher auch bei KI-Agenten zentral.