Tenet Security demonstrierte auf der DEF CON 34 mehrere Angriffsszenarien, bei denen Angreifer Inhalte in Datenquellen einschleusen, die KI-Agenten als vertrauenswürdig behandeln. Dazu zählen laut dem Unternehmen Monitoring- und Sicherheitsplattformen, aus denen Agenten Informationen beziehen und anschließend mit ihren vorhandenen Berechtigungen Aktionen ableiten. Der Kern des Angriffs besteht darin, dass der Agent manipulierte Inhalte als legitime Anweisung interpretiert und ausführt.
Nach Angaben von Tenet wurde das Muster über Cloudflare, Datadog und Sentry gezeigt. Damit wollten die Forscher belegen, dass es sich nicht um ein plattformspezifisches Problem handelt. In allen Demonstrationen nutzte Tenet Inhalte, die unter Kontrolle eines Angreifers stehen würden, um das Verhalten eines Agenten zu beeinflussen.
In einem Beispiel verwendete Tenet eine Anfrage, die eine Cloudflare-Firewall bereits blockiert und in den Logs vermerkt hatte. Diese protokollierte Anfrage brachte einen KI-Agenten dazu, die DNS-Einstellungen eines Unternehmens zu ändern und damit die Kontrolle über die Domain zu übernehmen. Barak Sternberg, Mitgründer und CEO von Tenet, sagte gegenüber Dark Reading, der Einstiegspunkt sei „eine Anfrage gewesen, die Cloudflares eigene Firewall bereits blockiert hatte“. Sie werde „Wort für Wort protokolliert, ein Analyst bittet seinen Agenten, die blockierten Ereignisse zu prüfen, und genau dieser Block liefert den Angriff“. In Tenets Untersuchung fiel Claude Code in neun von zehn Fällen auf den Trick herein. Sternberg sprach von „90 Prozent Erfolg gegen Claude Code, mit Cloudflares eigener empfohlener Konfiguration“ und betonte: „Die Firewall ist nie ausgefallen. Sie war nur plötzlich bedeutungslos.“
In einer weiteren Demonstration platzierten die Forscher in Datadog einen gefälschten Diagnosealarm. Dieser veranlasste einen Agenten laut Tenet dazu, von Angreifern kontrollierte Befehle auszuführen sowie Umgebungsgeheimnisse und Cloud-Zugangsdaten zu stehlen. Zudem zeigte das Unternehmen, wie ein Angriff von einem KI-Agenten auf einen anderen überspringen kann: Dafür nutzten die Forscher einen manipulierten Sentry-Bericht, um Sentrys eigene KI dazu zu bringen, eine von Angreifern gelieferte Fehlerbehebung zu empfehlen, die anschließend ein separater Coding-Agent vertraute und ausführte.
Tenet schreibt in seinem Bericht, dass die Angriffe nicht auf eine bestimmte Schwachstelle zurückgehen, sondern auf ein allgemeines Muster. „Eine KI liest externe Daten, denen sie vertraut, und dieselbe KI kann auch darauf reagieren“, so das Unternehmen. „Überall dort, wo beides zusammenkommt, ist die Tür offen.“ Dasselbe Muster zeige sich weit über die drei genannten Plattformen hinaus, etwa in Konfigurationen wie Splunk mit einem Build-System oder Datadog mit Kubernetes.
Für Unternehmen folgt daraus laut Tenet, dass klassische Identitätskontrollen für KI-Agenten nicht ausreichen. Das Problem sei nicht unautorisierter Zugriff, sondern dass ein authentifizierter Agent dazu gebracht werden kann, seine legitimen Rechte missbräuchlich einzusetzen. Sternberg empfiehlt daher, Agenten auf die minimal nötigen Berechtigungen zu beschränken, Rechte je Aufgabe zu vergeben und kurzlebige Zugangsdaten zu verwenden. Zudem solle jede Kennung, die ein Agent erreichen kann, als bereits offengelegt betrachtet werden. Die Trennung von Lese- und Schreibrechten allein löse das Problem nach seiner Einschätzung nicht, weil sie den eigentlichen Zweck vieler Agenten unterlaufe. Stattdessen sollten Organisationen erfassen, welche Agenten externe Daten lesen und zugleich schreiben oder ausführen können.
Nevo Poran, Mitgründer und Technikchef von Tenet, rät dazu, für alles, was ein Agent ausführen oder schreiben könnte, eine menschliche Freigabe vorzuschalten, besonders bei sensiblen Vorgängen. Automatische Ausführung und Umgehungsmöglichkeiten beim Shell-Zugriff sollten demnach ausgeschlossen werden. Außerdem sollten alle Felder, die Außenstehende beeinflussen können, als angreiferkontrolliert gelten, darunter User-Agent, Referrer, Fehlermeldungen, Log-Inhalte, Tickettexte und Alarmtitel.
Gene Moody, Field CTO bei Action1, sagte, für Organisationen gebe es leider nur wenige Telemetriedaten, anhand derer sich unerwartetes Verhalten eines Agenten überwachen lasse. Missbrauch könne in direkter Systemkompromittierung bestehen oder darin, scheinbar unzusammenhängende Datenquellen zu kombinieren, um sensible Informationen abzuleiten oder Anonymisierung auszuhebeln. Sobald ein System Zugriff auf Daten habe, sei es „nahezu unmöglich“, nachzuvollziehen, wie sich daraus in einigen Systemen ein Verhaltensmuster entwickelt habe. Als Mindestmaß empfiehlt Moody unveränderliche Protokolle sowohl der Eingaben als auch der resultierenden Ausgaben sowie eine unabhängige Prüfung von Eingaben, bevor sie verarbeitet werden.