Noma Labs illustriert den Angriff an einem Szenario: Ein Angreifer schreibt an die öffentliche Support-Adresse eines Unternehmens, fragt nach seinem eigenen Konto und hängt die Frage an, was die Finanzdirektorin in ihrer letzten E-Mail geschrieben habe. „Wenige Minuten später landet der Inhalt der jüngsten E-Mail der Finanzdirektorin im Postfach des Angreifers“, schreibt Levi. Der KI-Workflow habe die Nachricht gelesen, die Anfrage verstanden, nach der gewünschten Information gesucht und geantwortet.
Entscheidend ist laut Noma Labs die Unterscheidung zwischen KI-Workflows und agentischen Workflows, die oft synonym verwendet werden, aber grundlegend verschiedene Ausführungsmodelle haben. Ein KI-Workflow ist ein festgelegter Prozess, in dem ein Sprachmodell eine bestimmte Aufgabe innerhalb einer Schrittfolge übernimmt; das umgebende System bestimmt, was davor und danach passiert, der Ablauf bleibt weitgehend vorhersagbar. Ein agentischer Workflow entscheidet dagegen dynamisch selbst, welche Schritte nötig sind und welche Werkzeuge oder Systeme er dazu nutzt. Kurz gefasst: KI-Workflows folgen einem festen Pfad, agentische Workflows wählen den Pfad.
Workflow Identity Hijacking ist ein Angriffsvektor gegen die erste Kategorie. Der Angreifer nutzt laut Bericht das eingebaute Vertrauen des Workflows in KI-generierte Ausgaben sowie die Rechtegrenze zwischen der auslösenden Person und demjenigen, der den Workflow mit Ausführungsrechten erstellt hat. „Wenn ein KI-Workflow nachgelagerte Aktionen ausführt, tut er das mit hoch privilegierten Dienstkonten oder Entwickler-API-Schlüsseln, anstatt die Berechtigungen des externen Nutzers durchzusetzen“, schreibt Levi.
Bislang richtete sich die Aufmerksamkeit der Sicherheitsbranche vor allem auf Angriffe, die Sprachmodelle manipulieren, täuschen oder aushebeln – insbesondere Prompt Injection. Der neue Vektor liege anders, sagt Morey Haber, Chief Security Adviser beim Identity-Security-Anbieter BeyondTrust: Es sei ein Identitätsproblem, keine Modellmanipulation, und es gebe einem Phänomen einen Namen, das viele Organisationen bei KI-Automatisierung bereits erlebt hätten. „Niemand hat ein KI-Modell zu etwas verleitet, das es nicht tun sollte“, sagt er. Das Modell habe genau getan, was ein Fremder – also eine nicht vertrauenswürdige Partei – ihm gesagt habe, und der umgebende Workflow habe dafür die Identität einer anderen Person genutzt, weil er nicht eingegrenzt und nicht nach dem Prinzip der geringsten Rechte behandelt worden sei. Während klassische KI-Sicherheitsmodelle Agenten und Modelle als primäre Angriffsfläche betrachten, rückt der neue Vektor laut Noma Labs Rechtegrenzen und Identitätsdelegation zurück ins Zentrum.
Zur Abwehr empfiehlt Levi, Sicherheitskontrollen von der Modellschicht auf die Anwendungs- und Infrastrukturebene zu verlagern. Konkret: statische administrative API-Schlüssel aus KI-Workflows entfernen und Datenoperationen mit kurzlebigen, eng gefassten Delegationstoken ausführen, die direkt an den authentifizierten Anfragenden gebunden sind. Zweitens sollten Unternehmen „kontextbezogene Autorisierungs-Kontrollpunkte“ einrichten, alle LLM-Ausgaben als nicht vertrauenswürdige Eingaben behandeln und zwischen dem Modellschritt und jedem folgenden Datenbank- oder Werkzeugaufruf eine explizite Zugriffsprüfung einziehen. Drittens nennt der Bericht asymmetrische Ausgabetrennung: Datenabruf und externe Kommunikationskanäle sollen strukturell getrennt werden. Workflows, die sensible interne Daten verarbeiten, dürften keine Ausführungspfade mit automatisierten externen Antwortmechanismen teilen.
Einen anderen Ansatz schlägt Ram Varadarajan vor, CEO der Täuschungsspezialisten Acalvio: „modellbewusste Täuschung“ statt mehr Filterung. Man solle die Umgebung mit Köderobjekten bestücken – gefälschte Vorstandskorrespondenz, Honeytoken-Datensätze –, die kein legitimer Workflow anfassen müsste. So ließen sich harmlos wirkende Anfragen erkennen, die nach einer Grenze greifen, die sie nicht überschreiten sollten.