Wie CISOs die Entwicklung mit KI-Code wirksam prüfen können

Madou beschreibt Audits im KI-Zeitalter als Erweiterung klassischer Prüfungen auf den gesamten Entwicklungsprozess. Für CISOs gehe es dabei vor allem um belastbare Sichtbarkeit: Sie müssten belegen können, dass Entwickler geschützte Produkte erstellen, obwohl im Alltag oft unterschiedliche LLM-Helfer parallel genutzt werden. Gerade diese Vielfalt erschwere es, Risiken messbar zu machen und Governance-Vorgaben durchzusetzen, weil die eingesetzten Werkzeuge laut dem Beitrag sehr unterschiedliche Sicherheitsniveaus aufweisen.

Nach den von Madou angeführten Forschungsergebnissen liefern LLMs bei einigen eng umrissenen Aufgaben Ergebnisse, die mit denen versierter Fachkräfte vergleichbar sind. Das gelte etwa für das Erkennen von Code Smells sowie Anti-Patterns. Bei anderen sicherheitsrelevanten Themen hätten die Werkzeuge jedoch Schwächen gezeigt, darunter DoS-Schutz, unzureichende Protokollierung und falsch konfigurierte Berechtigungen. Insgesamt, so die Einordnung im Beitrag, übertreffen sicherheitsstarke Entwickler die LLMs, durchschnittliche Entwickler dagegen nicht.

Daraus leitet Madou eine neue Kategorie operationeller Risiken ab: Nicht externe Angreifer stünden im Mittelpunkt, sondern Risiken, die innerhalb des SDLC durch unbeabsichtigte Handlungen von Entwicklern entstehen. Für CISOs verschärfe das bestehende Lücken bei Sichtbarkeit, Verantwortlichkeit und Zuordnung zusätzlich. Um Risiken gegenüber Stakeholdern quantifizierbar zu machen, sollten Audits deshalb drei Bereiche systematisch erfassen: den Einsatz von KI-Werkzeugen, die Fähigkeiten der Entwickler und die Analyse von Schwachstellen, einschließlich der Frage, in welcher Phase etwas schiefgelaufen ist und wie gravierend die Auswirkungen waren.

Konkret empfiehlt der Beitrag zunächst eine überprüfbare Erfassung aller für Codegenerierung genutzten KI- und LLM-Assistenten – unabhängig davon, ob sie freigegeben sind oder nicht. Diese Werkzeuge sollen direkt den erzeugten Code-Ausgaben zugeordnet werden. Das diene der Nachvollziehbarkeit für Audits und Compliance und schaffe die Rückverfolgbarkeit, die mit Blick auf entstehende regulatorische Vorgaben nötig sei.

Im nächsten Schritt sollen Unternehmen die eingesetzten Modelle anhand bekannter Schwachstellenmuster bewerten und vergleichen. Werkzeuge, die sichere Ergebnisse liefern, sollen standardisiert und als zulässige Auswahl festgelegt werden. Zusätzlich rät Madou dazu, Integrationen über das Model Context Protocol, kurz MCP, zu überwachen, damit KI-Agenten nur mit freigegebenen Werkzeugen und Datenquellen verbunden werden. Als weiteren Baustein nennt der Beitrag „Zeitreise“-Audits, mit denen sich Commits, die mit einem kompromittierten LLM-Modell verknüpft sind, sofort isolieren und korrigieren lassen, statt langwierige manuelle Codeprüfungen durchführen zu müssen.

Ein weiterer Schwerpunkt ist die Weiterbildung der Entwickler. Neben fortlaufender Schulung und Benchmarking sollten Organisationen laut Madou einen Risikowert entwickeln, der mehreren Faktoren Rechnung trägt. Ähnlich wie ein Bonitätswert soll er erfassen, wie viel unbeabsichtigtes Risiko einzelne Teammitglieder aufgrund ihrer Fähigkeiten, Arbeitsweisen und Aufsichtsmöglichkeiten verursachen.

Schließlich müsse ein Audit die Nutzung von KI-Werkzeugen mit Geschäftszielen verknüpfen. Die gewonnenen Erkenntnisse sollten zeigen, wie sich der Einsatz von KI auf Produktivität, Codequalität und sichere Ergebnisse auswirkt. Erst damit hätten Entscheidungsträger eine Grundlage, um Investitionen in Werkzeuge zu steuern und Innovation gegen Risikomanagement abzuwägen. Der Beitrag stammt von Matias Madou, Ph.D., Sicherheitsexperte sowie CTO und Mitgründer von Secure Code Warrior.