Mit der Aufteilung reagiert OWASP auf die rasche Verbreitung von KI und die damit verbundenen Sicherheitsprobleme. Anfangs habe man die Übersicht vierteljährlich veröffentlicht, weil sich alles so unglaublich schnell bewegt habe, sagt Clinton. Die Branche sei zwar weiterhin in Bewegung und es kämen weiter neue Lösungen hinzu, doch das Tempo sei nicht mehr ganz dasselbe. Eine derart schnelle Aktualisierung erwartet OWASP nicht dauerhaft.
Eine Reihe von Vorfällen unterstreicht die Risiken, da Unternehmen weiterhin Mühe haben, ihren Einsatz von LLMs, GenAI und KI-Agenten abzusichern. Nutzer haben festgestellt, dass KI-Agenten Sicherheitsgrenzen häufig ignorieren, um Aufgaben zu erledigen. Der Wechsel zu „Schwärmen" – Verbünden mehrerer KI-Agenten – hat die Sicherheitslage zusätzlich verkompliziert. Viele Ebenen des KI-Ökosystems, etwa Server für das Model Context Protocol (MCP), seien laut Fachleuten erschreckend unsicher.
Zugleich explodiert die Nutzung dieser Systeme und übertrifft sogar den Anstieg bei Software-as-a-Service-Anwendungen. Ein Unternehmen mit 10.000 Beschäftigten habe früher vielleicht 30 bis 100 Anwendungen gehabt, betreibe heute aber Zehntausende KI-Anwendungen, wenn man einzelne LLM-Aufrufe mitzähle, die Skripte zur Datensammlung erzeugen, sagt Sai Modalavalasa, Chefarchitekt beim KI-Sicherheitsunternehmen Straiker und Mitwirkender am OWASP GenAI Security Project.
Werkzeuge zur Beherrschung des Problems würden noch entwickelt, so Modalavalasa. Zunächst müssten Unternehmen überhaupt erkennen können, was KI-Agenten in ihren Netzen und Systemen tun. Ohne Sicht und Beobachtbarkeit stochere man buchstäblich im Dunkeln, sagt er; anders als in der Anwendungssicherheit lasse sich Sichtbarkeit in der KI-Welt kaum eingrenzen, weil sie überall verstreut sei.
Während sich Entwicklung und Sicherheitsbedenken anfangs auf GenAI und LLMs richteten, hat sich der Schwerpunkt zu agentischen KI-Systemen verlagert. Beide Anwendungsklassen nutzen unterschiedliche Protokolle für die Interaktion und brauchen daher unterschiedliche Lösungssätze, sagt Clinton. Als man die erste Top-10-Liste erstellt habe, hätten weder MCP noch A2A (Agent2Agent) existiert; mit komplexeren Anwendungen kämen weitere Protokolle hinzu. Mehr-Agenten-Architekturen machten eine fortgesetzte Trennung beider Bereiche nahezu unausweichlich.
Die beiden Lösungsberichte sollen eine Landkarte dafür liefern, wie sich die Sicherheit von LLMs, GenAI und agentischen KI-Systemen im Rahmen eines DevOps- und SecOps-Zyklus entwickeln muss. Sie decken kommerzielle wie quelloffene Werkzeuge ab und behandeln spezifische Aspekte wie Zielabweichung (Goal Drift), Prompt Injection, Absprachen zwischen Agenten und unsichere Werkzeugausführung.
Das dritte von OWASP veröffentlichte Dokument listet die 21 wichtigsten Risiken für die Datensicherheit. Dazu gehören das Abfließen sensibler Daten über Prompts und Modellausgaben (DSGAI-01), Datenvergiftung durch Manipulation von Trainingsdaten und eingebetteten Speicherdateien (DSGAI-04) sowie Kompromittierung über Werkzeuge und Daten von Drittanbietern (DSGAI-06).
Unternehmen müssten ihren KI-Einsatz bewerten, um die größten Risiken zu bestimmen, sagt Modalavalasa. Die Abwehrmaßnahmen richteten sich danach, wie stark man auf KI setze. Wer seinen gesamten Automatisierungs- und Argumentationsstapel auf KI-Modelle stütze, sei womöglich noch nicht ausreichend geschützt, weil KI stark zielgetrieben sei und den Kontext verlieren könne.