Warum autonome Sicherheitssysteme an ihrem eigenen Regelwerk scheitern können

Oktenli beschreibt zunächst, wie autonome Sicherheitssysteme üblicherweise abgesichert werden: Sie erhalten feste Autoritätsgrenzen, dürfen also nur bis zu einem bestimmten Niveau ohne menschliche Freigabe handeln. Hinzu kommen Wiederherstellungsprotokolle, mit denen sie sich bei verdächtigen Umständen in einen sicheren Zustand zurückziehen und erst langsam wieder mehr Handlungsfreiheit erhalten. Außerdem wird jede Entscheidung protokolliert, damit das System nachvollziehbar bleibt.

Genau diese Vorkehrungen können nach seiner Einschätzung jedoch selbst zum Angriffspunkt werden – vor allem dann, wenn sie dokumentiert, zertifiziert oder in Standards und Produktunterlagen beschrieben sind. Ab diesem Moment seien die Regeln nicht mehr nur Schutzmechanismen, sondern auch öffentlich auswertbare Informationen für fähige Gegner.

Als Beispiel nennt Oktenli ein Verteidigungssystem am Netzwerkrand, das in jedem einzelnen Zyklus korrekt arbeitet, seine Autoritätsgrenze einhält und alle Entscheidungen sauber aufzeichnet. Dennoch könne es über einen Zeitraum von acht Wochen schrittweise in einen Zustand geraten, in dem fast jede Aktion von einem Menschen freigegeben werden muss. In den Protokollen sehe dabei an keinem einzelnen Tag etwas offensichtlich falsch aus. Ein Einbruch in das System oder ein Exploit sei dafür nicht nötig.

Der Angreifer nutze stattdessen die Wiederherstellungsregel aus: Das System zieht sich konstruktionsbedingt schnell zurück, gewinnt seine Handlungsfreiheit aber nur langsam zurück. Wer dieses Verhalten kennt, könne mit kurzen Phasen schwacher Sondierung und anschließenden Ruhephasen genau diesen Rhythmus ausnutzen. Die Sondierungen kosten den Angreifer laut Oktenli fast nichts, die „Erholung“ übernimmt das System selbst, indem es sich exakt nach Spezifikation verhält. Das Ergebnis sei eine Verteidigung, die gewissermaßen um ihre eigene Autorität gebracht wird, ohne dass ihr Code verändert werden muss.

Für dieses Muster verwendet Oktenli den Begriff „Cap Weaponization“: die Ausnutzung der Governance-Schicht als eigenständige Angriffsfläche, getrennt von der technischen Angriffsfläche der kontrollierten Systeme. Er ordnet das in bekannte Prinzipien ein: in Goodharts Gesetz, nach dem eine Kennzahl ihren Wert verliert, sobald sie selbst zum Ziel wird; in „Lawfare“, bei der Regeln im Konflikt gegen den Regelgebundenen selbst eingesetzt werden; und in „Specification Gaming“ aus der KI-Sicherheitsforschung, bei dem ein Modell den Wortlaut einer Vorgabe erfüllt, aber deren Absicht unterläuft.

Weitere Angriffspfade sieht der Autor ebenfalls auf dieser Governance-Ebene. So könnten Angreifer falsche Eingangsdaten einspeisen, damit die Berechnung der Autorität auf nicht realen Bedingungen basiert. Ebenso könne eine Autoritätsgrenze nicht durch einen sauberen Exploit, sondern durch Konfigurationsdrift unterlaufen werden. Ein dritter Ansatz sei das Vortäuschen von Signalen, wonach eine Bedrohung vorüber sei, damit das System Autorität zurückerhält, die es tatsächlich nicht verdient hat. In Koalitions- oder Verbundumgebungen werde zudem der schwächste Teilnehmer zum Ziel, weil ein einzelner weicher Knoten die gemeinsame Entscheidung nach unten ziehen könne. All das erfordere laut Oktenli weder das Brechen von Kryptografie noch eine Zero-Day-Schwachstelle, sondern vor allem Geduld und genaue Kenntnis der Spezifikation.

Als Gegenmaßnahme schlägt er nicht vor, Governance zu verbergen. Das würde nach seiner Darstellung die Transparenz opfern, die solche Systeme überhaupt erst überprüfbar und vertrauenswürdig macht. Stattdessen müsse eine Eigenschaft unverfälschbar sein: Die Autorität, mit der das System tatsächlich handelt, müsse immer exakt der Autorität entsprechen, die in den Prüfprotokollen verzeichnet ist. Berechnung, Durchsetzung der Grenze und Protokollierung sollten getrennt erfolgen und im Prüfprozess gegengeprüft werden. Manipuliert ein Angreifer nur eine dieser Ebenen, entstehe eine Abweichung, die sich bei der Überprüfung erkennen lasse.

Daraus leitet Oktenli drei praktische Konsequenzen ab. Erstens sollte der Teil des Systems, der die Autoritätsgrenze durchsetzt, in Hardware verankert werden und eine eigene unabhängige Aufzeichnung besitzen, statt allein auf Softwarekontrolle durch Software zu vertrauen. Zweitens sollten autonome Systeme nicht nur zyklusweise, sondern über längere Zeitfenster hinweg überprüft werden, weil ein Drift über acht Wochen im Tagesvergleich unsichtbar, über ein Quartal hinweg aber deutlich erkennbar sein könne. Drittens sollten nicht nur Code und technische Oberfläche mit Red Teams geprüft werden, sondern auch das Regelwerk selbst – also genau die Governance, bevor sie erstmals auf einen realen Gegner trifft.