Martin bezeichnet die bei dem Angriff sichtbar gewordene Schwachstelle als „Autoritätswäsche“. Gemeint ist damit der Prozess, bei dem nicht vertrauenswürdige externe Eingaben über einen KI-Vermittler in scheinbar vertrauenswürdige interne Anweisungen überführt werden. Je stärker Unternehmen KI mit eigener Handlungsbefugnis in Geschäftssysteme integrieren, desto eher könne dieser Konstruktionsfehler zu einer zentralen Governance-Frage werden.
Der geschilderte Ablauf war laut dem Beitrag vergleichsweise einfach. Zunächst erweiterten die Angreifer die Berechtigungen des KI-Systems, indem sie ein digitales Zugangsmerkmal in eine Krypto-Wallet einzahlten, die dem KI-Agenten zugeordnet war. Die Software wertete den Besitz dieses Tokens automatisch als Nachweis einer Autorisierung und schaltete damit Transaktionsfunktionen frei.
Anschließend übermittelten die Angreifer eine Nutzlast, die als Morsecode getarnt war. Herkömmliche Sicherheitssysteme ignorierten sie dem Beitrag zufolge, weil sie wie harmloser Text und nicht wie ausführbare Schadsoftware aussah. Das KI-Modell interpretierte die Nachricht jedoch als Rätsel, das zu lösen war. Nach der Übersetzung in Klartext gab die KI die Anweisung an ein separates Ausführungssystem weiter, das für Geldtransfers zuständig war. Da dieses zweite System die Ausgabe der KI als autorisierten internen Befehl behandelte, führte es die Transaktion aus.
Für Martin liegt die Bedeutung des Vorfalls nicht in der Höhe des entwendeten Betrags, sondern darin, dass er eine Klasse von Schwachstellen vorwegnehme, die mit zunehmender Autorität von KI in Unternehmensnetzen häufiger werden dürfte. Während sich die Cybersicherheit in Unternehmen jahrzehntelang darauf konzentriert habe zu verhindern, dass Systeme Daten mit ausführbarem Code verwechseln, bringe KI ein anderes Problem mit sich: Systeme könnten Sprache mit Autorität verwechseln.
Der Beitrag betont, dass ein KI-System nicht bösartig werden müsse, um ernste operative Folgen auszulösen. Es reiche, Anweisungen zu pflichtgetreu zu befolgen. Gerade das sei relevant, weil viele Organisationen KI-Kopiloten und autonome Agenten schnell in Umgebungen einführten, in denen ihre Ausgaben operative Entscheidungen beeinflussen. Als Beispiele nennt Martin die Zusammenfassung juristischer Dokumente, das Weiterleiten interner Freigaben, die Steuerung von Beschaffungsabläufen, die Eskalation von Support-Tickets, die Code-Erzeugung und die Interaktion mit sensiblen Unternehmenssystemen.
Das tiefere Problem sieht Martin in übermäßiger Handlungsbefugnis. Viele Unternehmen errichteten unbeabsichtigt Architekturen, in denen KI-Modelle Anfragen sowohl interpretieren als auch ausführen und damit wichtige Sicherheitsgrenzen einreißen. Unternehmensweite KI-Governance dürfe daher nicht auf der Annahme beruhen, dass von internen Systemen kommende KI-Anweisungen automatisch vertrauenswürdig seien.
Als dringlich bezeichnet Martin mehrere Governance-Prinzipien: Von KI erzeugte Ausgaben sollten niemals automatisch als vertrauenswürdig gelten. Wenn externe E-Mails, hochgeladene Dokumente, Kundenchats oder Programmierschnittstellen von Dritten ein KI-System beeinflussen können, müssten nachgelagerte Ausgaben als potenziell kompromittiert behandelt werden, solange keine unabhängige Validierung erfolgt. Zudem sollten KI-Systeme Maßnahmen empfehlen, aber risikoreiche Schritte nicht eigenständig autorisieren. Finanztransfers, privilegierter Zugriff, Infrastrukturänderungen, Softwarebereitstellung und sensible operative Abläufe sollten vor der Ausführung deterministische Regelwerke und menschliche Prüfstellen durchlaufen. Außerdem sollten Unternehmen Zero-Trust-Prinzipien auf die KI-Architektur selbst anwenden, mit eng segmentierten Berechtigungen, umfassender Audit-Protokollierung und klar definierten Freigabegrenzen.