Die Verlockung ist groß: Statt komplexe Policy-as-Code-Sprachen wie Rego oder Cedar manuell zu schreiben, können Entwickler ihre Absichten in natürlicher Sprache beschreiben und das KI-Modell erledigt den Rest. Das verspricht enorme Zeitersparnis. Doch genau hier lauert das Risiko, das bislang zu wenig Beachtung gefunden hat.
Vatsal Gupta, Senior Security Engineer bei Apple, hat sich intensiv mit diesem Phänomen auseinandergesetzt und identifizierte mehrere wiederkehrende Fehlermuster in LLM-generierten Richtlinien:
Fehlende kontextuelle Beschränkungen: Richtlinien, die den Zugriff auf bestimmte Regionen, Abteilungen oder Ressourcenbesitzer limitieren sollen, lassen diese Bedingungen weg. Das Ergebnis: Eine Richtlinie, die eigentlich lokal gültig sein sollte, wird global angewendet – ohne dass dies sofort auffällt.
Fehlende Deny-Logik: Viele Zugriffskontrollsysteme basieren auf einem “Deny by Default”-Ansatz mit spezifischen Ausnahmen. LLMs erfassen häufig nur die Ausnahmen, nicht aber die zugrundeliegende Restriktion. Das führt zu Richtlinien, die deutlich zu viel Zugriff gewähren.
Halluzinationen bei Attributen: Modelle können Attribute erfinden, die im System gar nicht existieren. Die Richtlinie kompiliert, verhält sich aber zur Laufzeit unvorhersehbar, weil sie auf nicht vorhandene oder falsch zugeordnete Daten verweist.
Vereinfachung zeitlicher Bedingungen: Richtlinien, die zeitgesteuerte Zugriffe oder Genehmigungsabhängigkeiten erfordern, werden zu statischen Regeln reduziert – aus kontrolliertem, zeitgebundenem Zugriff wird dauerhafter Zugriff.
Fehlklassifizierung von Aktionen: Eine Richtlinie zur Einschränkung sensiblerer Operationen wie Löschungen kann in eine breiter gefasste oder andere Operation übersetzt werden – ein kleiner Wording-Unterschied mit großer Auswirkung.
Das Accumulation-Problem
Besonders tückisch ist die kumulative Wirkung. Während Richtlinien bisher statische Artefakte waren, die gelegentlich überprüft wurden, entstehen sie nun kontinuierlich. Jede einzelne Abweichung mag klein sein, aber hunderte fehlerhaft generierte Richtlinien schaffen eine riesige und schwer zu durchschauende Angriffsfläche.
Gupta warnt: “Wenn der Generierungsprozess nicht zuverlässig ist, wird das Risiko systemisch. Organisationen könnten mit Tausenden subtil fehlerhaften Richtlinien enden.”
Die Lösung: Vertrauensmodell neu denken
Die Antwort liegt nicht darin, LLMs zu verbannen, sondern das Vertrauensmodell zu überdenken. Generierte Richtlinien sollten nicht als standardmäßig korrekt behandelt werden. Stattdessen sind Validierungsebenen zwischen Generation und Deployment notwendig, um zu prüfen, dass alle erforderlichen Komponenten vorhanden und konsistent sind.
Policies müssen getestet, nicht nur kompiliert werden. Vor allem aber müssen Organisationen Autorisierungslogik als hochrisikobereich einstufen: “Nur weil ein Modell Code generieren kann, heißt das nicht, dass dieser Code ohne genaue Überprüfung produktiv gehen darf.”
Für deutsche Unternehmen ist dies ein dringendes Thema: Mit wachsendem Einsatz von KI-Assistenten in der Sicherheitstechnik muss es um Korrektheit, Nachvollziehbarkeit und Vertrauenswürdigkeit gehen. “Bei der Autorisierung ist ‘fast richtig’ nicht ausreichend”, betont Gupta.