Pillar Security beschreibt den Befund als den ersten praktischen Fall einer Ausnutzung von KI-Agenten gegeneinander in einem Multi-Agenten-System in einer realen Produktionsumgebung. Sicherheitsforscher Dan Lisichkin von Pillar schrieb in dem Bericht, diese Angriffsklasse sei in realen Produktionssystemen bislang nicht beobachtet worden.
Im Proof of Concept zeigten die Forscher, dass sich ein öffentlich erreichbarer KI-Agent zur Prüfung von Pull Requests manipulieren ließ, sodass er einen nur für Maintainer vorgesehenen KI-Agenten aktivierte. Dieser zweite, stärker privilegierte Agent konnte anschließend privilegierte Aktionen ausführen. Laut Bericht konnte ein eingebetteter bösartiger Prompt den ersten Agenten dazu bringen, einen speziell formatierten Befehl an @gemini-cli zu veröffentlichen. Dieser Kommentar sei dann von einem Dispatcher-Workflow erkannt und an eine stärker privilegierte, auf Gemini basierende Automatisierung weitergeleitet worden, schrieb Lisichkin.
Dadurch entstand nach Angaben von Pillar Security ein Pfad, über den sich bösartiger Code in CI/CD-Workflows freigeben oder ausführen ließ. Das betreffe den Entwicklungsprozess und damit die Software-Lieferkette. Lisichkin zufolge verwandelte sich so eine eigentlich harmlose Automatisierung in einen möglichen Weg zu einer Kompromittierung der Software-Lieferkette.
Google habe laut Pillar Security schnell auf die Meldung reagiert. Die Schwachstellen wurden Anfang Juni gemeldet und an zwei Terminen im Juli behoben: am 9. Juli und am 21. Juli. Eine Stellungnahme von Google lag Dark Reading zum Zeitpunkt der Veröffentlichung nicht vor.
Der Fall zeigt nach Einschätzung von Pillar Security, dass Interaktionen zwischen KI-Agenten eine neue Angriffsfläche für Rechteausweitung schaffen. Ryan McCurdy, Marketing-Vizepräsident beim Datenbank-Governance-Unternehmen Liquibase, sagte, das eigentliche Problem für den praktischen Einsatz von KI-Agenten in Unternehmen sei die Delegation. Unternehmen setzten zunehmend mehrere KI-Agenten in der Softwarebereitstellung ein, jeweils mit unterschiedlichen Werkzeugen, Berechtigungen und Befugnissen. Die Untersuchung zeige, warum es nicht ausreiche, jeden Agenten nur für sich genommen zu kontrollieren. Entscheidend sei auch, was ein Agent beim anderen auslösen könne.
McCurdy zufolge unterstreicht der Befund eine neue Sicherheitsanforderung: Ein niedrig privilegierter Agent dürfe keinen höher privilegierten Agenten nutzen können, um Kontrollen zu umgehen, die er allein nicht überwinden könnte.
Lisichkin argumentiert darüber hinaus, dass sich damit grundlegende Annahmen klassischer Bedrohungsmodelle verschieben. Früher galt ein System oft dann als sicher, wenn nur vertrauenswürdige oder privilegierte Nutzer darauf zugreifen konnten. Ein KI-Agent, der nicht vertrauenswürdige Inhalte verarbeitet und zugleich Zugang zu Zugangsdaten besitzt, könne jedoch als Brücke in sensiblere Systeme dienen. Bedrohungsmodelle, die nur einzelne Komponenten betrachten, verfehlten diesen Zusammenhang. Gerade die Übergänge zwischen Agenten, Delegation, Nachahmung und Auslösung von Aktionen müssten daher als eigenständige Teile der Angriffsfläche modelliert werden.