Die AEPD hat die erste ihr gemeldete Verletzung des Schutzes personenbezogener Daten öffentlich gemacht, die planmäßig über einen KI-Agenten ausgeführt worden sein soll. Der beschriebene Ablauf: eine erfolgreiche Anmeldung, danach die Suche nach Schwachstellen und schließlich die Fähigkeit, personenbezogene Daten zu ändern und Rechnungen einzusehen.
„Was aus Datenschutzsicht relevant ist“, schreibt die Behörde, „ist, dass ein Dritter einen KI-Agenten als Instrument genutzt hätte, um verschiedene Phasen des Angriffs erfolgreich miteinander zu verketten.“ Die Untersuchung läuft noch, und die AEPD wählt ihre Worte mit Bedacht.
Darin sieht die Behörde einen qualitativen Wandel: „Ein Agent kann ein Ziel entgegennehmen, Zwischenschritte planen, Werkzeuge einsetzen, Code ausführen, Quellen abfragen, Ergebnisse interpretieren und sein Vorgehen autonom anpassen, je nachdem, was er vorfindet.“ Hinzu kommt die Geschwindigkeit, mit der das geschieht.
Daraus leitet die AEPD vier Anpassungen im Risikomanagement ab. Erstens müssen KI-Unterstützung und gegnerische Agenten Teil der Risikoanalyse werden. Zweitens müssen die Reaktionszeiten bei Sicherheitsvorfällen sinken. Drittens rücken digitale Identitäten und Zugangsdaten in den Mittelpunkt und müssen besser geschützt werden. Und viertens lässt sich all das nicht allein durch manuelles Eingreifen erreichen.
„Menschliche Aufsicht bleibt unverzichtbar, aber sie muss durch Erkennungs-, Eindämmungs- und Reaktionsmechanismen gestützt werden, die schnell genug arbeiten können“, so die AEPD. Im Klartext: In der Ära gegnerischer KI muss auch die Verteidigung KI-gestützt sein – mit dem Menschen in der Entscheidungsschleife.
Simon Phillips, CTO bei CyberVerse, mahnt in seiner Einschätzung des Vorfalls zur selben Zurückhaltung wie die Behörde. „Wir müssen diesen Vorfall mit Vorsicht behandeln und vermeiden, die Öffentlichkeit einmal mehr mit Geschichten über außer Kontrolle geratene KI zu verängstigen. Wir haben nicht genügend Informationen, um zu verstehen, was passiert ist oder wie das Modell diesen Verstoß ausgeführt hat“, sagte er.
Wenn die Meldung des spanischen Unternehmens an die Datenschutzbehörde echt sei, komme jedes der von Sicherheitsfachleuten diskutierten Szenarien als Ursache infrage. „Von all diesen Szenarien ist das erste das besorgniserregendste, weil es zeigen würde, dass ein Akteur die von den Betreibern eines KI-Modells durchgesetzten Kontrollen umgehen konnte“, ergänzt Phillips. „Hoffentlich erfahren wir bald mehr, denn Organisationen müssen wissen, womit sie es bei KI zu tun haben und wo sie in ihre Verteidigung investieren sollten.“