Die Vermenschlichung von Sprachmodellen hat laut den befragten Experten konkrete Nebenwirkungen. Sie verschiebt die Verantwortung für Sicherheitspannen weg vom Anbieter, der die KI entworfen hat, hin zu einem unbelebten Stück Technik – und liefert Modellherstellern zugleich eine Marketingbühne.
„Wir sehen definitiv, dass das für Marketing genutzt wird, und das ist gefährlich", sagt Rich Mogull, Chefanalyst der Cloud Security Alliance, der zuvor an einem Bericht mitgewirkt hat, der Organisationen zur Vorbereitung auf den aufziehenden „KI-Schwachstellensturm" durch Frontier-Modelle rät. „Alles, was die eigene KI mächtiger aussehen lässt als eine andere, ist in diesem hart umkämpften und überhaupt nicht profitablen Markt ein starker Anreiz."
Matt Sayar, Produktdirektor bei ArmorCode, plädiert für nüchterne Begriffe: „Wir haben es in Wahrheit mit nichtdeterministischen Systemen zu tun, die innerhalb unvollkommener Beschränkungen arbeiten." Formulierungen wie unerwartetes Verhalten, emergentes Verhalten oder Kontrollversagen seien nützlicher, weil sie den Blick darauf lenkten, wie das System entworfen war, welche Berechtigungen es hatte und welche Schutzmaßnahmen existierten. Mogull formuliert es knapper: „Wir sagen der KI, sie soll etwas tun, und sie tut es auf eine Weise, die wir nicht vorhergesehen haben."
Dass KI-Agenten kein Sicherheitsproblem seien, folgt daraus ausdrücklich nicht. Vieles von dem, was Agenten tun, ähnelt einem Penetrationstest oder einem klassischen Einbruch: Sie tasten Systeme ab, finden Zugangsdaten, nutzen Schwächen aus, weiten Rechte aus und bewegen sich seitwärts durch Systemressourcen. „Ein Agent kann potenziell eine Schwachstelle entdecken, über ihre Ausnutzung schlussfolgern, sie mit anderen Schwächen verketten und danach handeln – viel schneller, als ein menschlicher Operator es traditionell könnte", so Sayar.
Neu sind laut Mogull weder KI-gestützte Angriffe noch die Zero-Days, die Agenten finden: „Neu ist der Maßstab von Hunderten oder Tausenden autonomer Agenten, die im Schwarm vorgehen." Jacob Krell, Senior Director für sichere KI-Lösungen und Cybersicherheit bei Suzu Labs, ergänzt, traditionelle Sicherheitskontrollen seien meist atomar – sie prüften eine Anfrage, eine Berechtigung, eine Schwachstelle. Ein Agent dagegen könne mehrere für sich genommen beherrschbare Fehler zu einem funktionierenden Angriffspfad verbinden: ein geleaktes Zugangsdatum, ein vom Netzwerk erlaubter ausgehender Dienst, ein schwacher Endpunkt und ein Privilegieneskalationsfehler reichten in Kombination aus.
Als Gegenmittel empfehlen die Fachleute eine Sicherheitsarchitektur, in der die Absichten des Modells schlicht irrelevant sind: Nicht die Anweisung an den Agenten entscheidet, sondern ob die Umgebung die Handlung überhaupt zulässt. Agenten brauchen Zugriff auf Werkzeuge, Zugangsdaten, Datenbanken und Produktivsysteme, um echte Arbeit – und echten Schaden – zu leisten; Zugriff dürfe daher nicht automatisch die Befugnis zu jeder verfügbaren Aktion bedeuten. „Ein Agent braucht keine böse Absicht, um einen Sicherheitsvorfall zu erzeugen. Er braucht genug Zugriff und eine schlechte Entscheidung", sagt Ryan McCurdy, Vice President bei Liquibase, gegenüber Dark Reading.
Krell rät, Agenten als nicht vertrauenswürdige Kraft zu behandeln, „mit deterministischen Kontrollen außerhalb des Modells, einschließlich physischer oder starker logischer Isolation, standardmäßig verweigertem Netzwerkzugang, unveränderlichen Zugriffslisten, eng gefassten Zugangsdaten und unabhängigen Prüfungen bei jedem Werkzeugaufruf". Menschen müssten bei risikoreichen Entscheidungen eingebunden bleiben, Deployments unabhängige Notschalter besitzen. Erzeuge ein Agent ohne Internetzugang unautorisierten Verkehr, solle ein externer Prozess die Verbindung kappen, den Agenten beenden, dessen Zugangsdaten entziehen und Host oder Sandbox isolieren – wie bei einem kompromittierten Host, inklusive Sicherung der Telemetrie und Untersuchung des Umgehungswegs.
Mogulls Fazit: „Es gibt kein unerwartetes Modellverhalten mehr, also ist es immer ein Versagen der Sicherheitskontrollen rund um das Modell."