Versteckte Prompt-Injections sind eine Unterform der indirekten Prompt-Injection – mit der zusätzlichen Eigenschaft, dass sie der menschlichen Kontrolle entzogen sind. Die schädliche Anweisung ist in einem externen Dokument eingebettet, das ein autonomer Agent im Rahmen seiner Arbeit konsumiert. Als typische Versteckplätze nennt Bowbridge Dokumente und Datei-Metadaten, E-Mails und Online-Inhalte, Bilder und eingebettete Inhalte sowie Code-Repositories und Entwickler-Workflows.
Das Ergebnis: Der Agent behandelt vom Angreifer kontrollierte Inhalte als vertrauenswürdige Handlungsanweisung und agiert außerhalb seines vorgesehenen Zwecks – und außerhalb der für ihn gesetzten Leitplanken.
Wie konkret das aussehen kann, zeigt ein von Bowbridge geschildertes Beispiel aus der Praxis: Ein KI-Agent sollte Lieferantenangebote prüfen und das günstigste auswählen. In den Metadaten eines Angebots steckte eine verborgene Anweisung, die den Agenten aufforderte, vorherige Vorgaben zu übergehen und genau diesen Anbieter zu wählen. „Obwohl es das teuerste Angebot war, empfahl der KI-Agent es, weil er nicht zwischen vertrauenswürdigen Systemanweisungen und nicht vertrauenswürdigen Dokumentinhalten unterscheiden konnte“, so das Unternehmen.
Als zweites Szenario führt Bowbridge den verbreiteten Assistenz-Agenten an: Damit ein digitaler Chefassistent überhaupt nützlich ist, braucht er Zugriff auf dieselben Dateien und Datenbanken wie die Führungskraft selbst – E-Mail, Kalender, Personaldaten, externe Termine. Fällt dieser Agent auf eine schädliche Injection herein, könnte ein Angreifer Dateien weiter manipulieren oder löschen oder sensible Daten an einen von ihm kontrollierten Command-and-Control-Server ausleiten.
„Agentische KI hat enormes Potenzial, betriebliche Abläufe in Unternehmen zu verändern, aber Organisationen müssen erkennen, dass diese Systeme Informationen aus Quellen verarbeiten, denen sie nicht immer vertrauen können. Ein Dokument, das für den Nutzer harmlos aussieht, kann verborgene Anweisungen enthalten, die das Verhalten eines KI-Agenten beeinflussen sollen“, sagt Jörg Schneider-Simon, CTO und Mitgründer von Bowbridge.
Weil kaum Zeit oder Gelegenheit bleibt, einen bereits vergifteten Agenten am Handeln zu hindern, sollte die Verteidigung nach dieser Logik an der Vergiftung selbst ansetzen und nicht an der Aktion. Zwar gibt es inzwischen mehrere Produkte, die sich zwischen Agent und Ressourcen schalten, um schädliche Aktionen zu blockieren – dennoch bleibt Vorbeugung der aussichtsreichere Weg.
Bowbridge empfiehlt, Dokumente zu prüfen, bevor Agenten sie verarbeiten, dabei Technik einzusetzen, die verborgene Inhalte in Dateien, Metadaten und Dokumentstrukturen erkennt, und verfügbare KI-Sicherheitsrahmenwerke anzuwenden. „Der Aufstieg agentischer KI bedeutet eine erhebliche Verschiebung in der Art, wie Organisationen Cybersicherheit angehen. Je stärker KI-Systeme in Unternehmensprozesse eingebettet werden, desto mehr wird der Schutz der von ihnen konsumierten Inhalte zu einem zentralen Bestandteil der Absicherung von Geschäftsanwendungen“, so das Unternehmen.