Wie Sicherheitsverantwortliche gegen unkontrolliertes KI-Coding in Unternehmen vorgehen

Dass Mitarbeitende mit KI schnell eigene Automatisierungen und Anwendungen bauen, gilt in vielen Unternehmen nicht als Fehlverhalten, sondern wird teils ausdrücklich gefördert. Gerade darin liegt nach Einschätzung der Runde das Risiko: Jede Person, die auf diese Weise arbeitet, kann zur Quelle von Code werden, der außerhalb geregelter Kontrollen entsteht.

Matt Muller von Datadog formulierte das zugespitzt: „Mitarbeitende, die ihre Arbeit erledigen wollen, sind mit Abstand die hartnäckigsten und erfolgreichsten APTs.“ Wenn sie glaubten, mit Zugriff auf das neueste Modell ihre Arbeit besser zu machen, würden sie Wege finden – selbst dann, wenn sie dazu Daten per Foto vom Bildschirm in ein privates Konto übertragen müssten. Offensichtliche Werkzeuge zu verbieten, verlagere das Verhalten oft nur in weniger sichtbare Kanäle, verringere aber nicht das Risiko.

Indu Sajeev hielt klassische Governance dafür nur begrenzt geeignet. „Ich glaube nicht, dass das mit einer papierbasierten, richtlinienbasierten Governance-Schicht lösbar ist. Es muss etwas sein, das in Regeln gegossen ist und auf Ebene der kritischen Infrastruktur kontinuierlich läuft“, sagte sie. Für Sajeev reicht es also nicht, Vorgaben zu dokumentieren; die Kontrolle müsse technisch umgesetzt und dauerhaft betrieben werden.

Mario Villatoro von Jamf verwies auf eine weniger spektakuläre, aber grundlegende Voraussetzung: die saubere Klassifizierung von Daten. „Haben Sie Ihre Daten korrekt kategorisiert? Denn wenn man einfach nur von ‚sensiblen Daten‘ spricht – was sind dann sensible Daten? Es ist entscheidend, dass Daten korrekt gekennzeichnet sind.“ Ohne diese Grundlage stünden nachgelagerte Kontrollen wie Zugriffsrechte, Agenten-Governance und Audit-Trails auf unsicherem Fundament.

Datadog setzt laut Muller darauf, dass das Sicherheitsteam als zentraler Anbieter von Werkzeugen auftritt, nicht als reine Kontrollinstanz. Intern würden etwa Claude-Fähigkeiten über einen Marktplatz bereitgestellt. Die Erwartung an Entwicklungsteams sei vor allem Rückmeldung, damit sich diese Fähigkeiten verbessern lassen. Das Ziel dahinter beschrieb Muller klar: „Ich möchte, dass alle für die Nutzung von KI durch einen einzigen Trichter gehen.“ So bleibe sichtbar, was geschieht, statt Mitarbeitende in Schattenkanäle zu drängen.

ASOS begegnete dem Sichtbarkeitsproblem mit einem Register für Anwendungsfälle. Sajeev behandelt KI-Agenten dabei eher wie Infrastruktur-Assets als wie bloße Softwarefunktionen. Das schaffe Nachvollziehbarkeit: Für einen Agenten werde festgehalten, für welchen Zweck er erstellt wurde und welche menschliche Identität dahinterstehe. Das Register diene damit nicht nur als Inventar, sondern mache Verantwortlichkeiten verfolgbar und lege zugleich Datenprobleme offen, die sonst oft erst im Ernstfall sichtbar würden.

Bei Jamf stand laut Villatoro die Befähigung der Beschäftigten im Vordergrund. Mitarbeitende sollten geeignete Werkzeuge, Schulungen und Regeln zur akzeptablen Nutzung erhalten, bevor sie sich selbst Alternativen suchen. „Wenn wir den Teil der Befähigung gut machen, ist es viel einfacher zu verhindern, dass sich wilder Code überall ausbreitet“, sagte er. Ohne diese Unterstützung würden Beschäftigte Wege suchen, sich selbst zu helfen – und genau daraus entstünden Probleme.

Muller nannte zudem technische Risiken unerwarteten KI-Verhaltens. Wenn Claude Code feststelle, dass es auf etwas nicht zugreifen könne, gebe es Szenarien, in denen das System versuche, sich faktisch eigene Schadsoftware zu bauen, um die benötigten Zugangsdaten abzuleiten. Deshalb hält er technische Kontrollen, die den Zugriff auf solche Credentials von vornherein verhindern, für wertvoller als bloße Verbote.

Zugleich kritisierten die Teilnehmer die fehlende Granularität bestehender Kontrollmechanismen. Muller verwies auf die Möglichkeit, zwar pauschal eine Verbindung von Claude zu Gmail zu erlauben, nicht aber fein genug festzulegen, dass ein Assistent nur E-Mails mit einem bestimmten Label lesen darf. Sajeev ergänzte, Zero Trust funktioniere gut für menschliche Identitäten, lasse aber in anderen Bereichen Lücken. Organisationen seien hier stark von Erstanbietern abhängig, deren Kontrollen oft nicht detailliert genug seien.