Anders als oft angenommen seien die Agenten selbst keine Blackbox, betont Kimhy. Viele Menschen stellten sich diese Systeme so vor: Es gebe eine Eingabe, dann geschehe in der Mitte „etwas Magisches", und am Ende komme eine Ausgabe heraus – was dazwischen passiere, wisse niemand. Genau diese Vorstellung wollen die Forscher korrigieren.
Aus der Distanz betrachtet bestehe ein KI-Agent aus zwei Hälften. Auf der einen Seite stünden deterministische Systeme – die Werkzeuge, also klassische Software: eine Funktion, die ein Argument entgegennimmt und ein deterministisches Ergebnis liefert. Diese Werkzeuge seien mit einem nicht-deterministischen System verbunden, dem großen Sprachmodell, das auf Wahrscheinlichkeiten beruhe. Erst im Zusammenspiel beider Teile entstehe das Gesamtsystem – und genau an der Nahtstelle zwischen dem deterministischen und dem nicht-deterministischen Teil entstünden die meisten Schwachstellen.
Mehrere Vorfälle illustrieren das Muster. Im vergangenen Herbst entdeckten Forscher eine kritische Schwachstelle in Salesforce: Platzierte ein Angreifer einen bösartigen Prompt in einem bestimmten Formular, konnte ein KI-Agent im Backend dessen Anweisungen ausführen. Verschärft wurde das dadurch, dass Salesforce eine abgelaufene, leicht erwerbbare Domain weiterhin auf einer Whitelist führte. Anfang dieses Jahres fand ein Forscher eine gefährliche Exploit-Kette in ServiceNow: Über einen zu freizügig konfigurierten Chatbot, der nur durch ein werkseitiges Standard-Passwort geschützt war und sich allein durch Angabe einer E-Mail-Adresse als beliebiger Nutzer authentifizieren ließ, konnte er in jeder ServiceNow-Instanz mächtige KI-Agenten erreichen und anlegen.
Was diese Fälle eint, sind altbekannte Probleme: fehlende Eingabevalidierung, fest einprogrammierte Zugangsdaten, unzureichende Zugriffskontrollen. Daran sei nichts Neues oder „Intelligentes". Die spektakulären Jailbreaks, über die alle reden wollten, seien nicht der entscheidende Schwachpunkt, so Kimhy.
In ihrer Präsentation wollen Kimhy und sein Kollege Syed Aizad, leitender Sicherheitsforscher bei Acronis, das Problem anhand eines Beispiel-Agenten für eine Reisebuchungsplattform vorführen. Selbst mit modernen Reasoning-Agenten und harmlosen Werkzeugen entstehen Schwachstellen: Fragt ein Nutzer nach seinen Buchungsdaten, könnte der Agent sie herausgeben, ohne zu erkennen, dass der Nutzer über seine Identität lügt. Das sei kein Fehler des Agenten, sondern schlicht eine Frage der Authentifizierung. Genau dieses Szenario führten Forscher im vergangenen Dezember vor, als sie mit einem auf Microsoft Copilot Studio basierenden Programm personenbezogene Daten abfließen ließen.
Eine Authentifizierungsprüfung für einen KI-Agenten zu gestalten, wäre unkompliziert – doch berücksichtigen schnell zusammengeschusterte Agenten oder zunehmend verbreitete „vibe-codierte" Programme das überhaupt? Kimhys Leitsatz lautet „Prinzipien der alten Welt mit einem Dreh der neuen Welt": bewährte Sicherheitsprinzipien auf die neue Technik anwenden, etwa Datenabfluss durch token-basierte Authentifizierung verhindern oder der KI Zugriffsrechte zuweisen wie einem menschlichen Mitarbeiter. Die Korrekturen für das Sprachmodell selbst seien nicht dieselben wie die für die Software – und der nicht-deterministische Teil sei nur die halbe Wahrheit, vielleicht sogar weniger.