Nach Einschätzung von Microsoft Threat Intelligence konzentriert sich der schädliche Einsatz von KI heute überwiegend auf Sprachmodelle, die Text, Code oder Medien erzeugen. Angreifer ließen sich damit Phishing-Köder verfassen, Inhalte übersetzen, gestohlene Daten zusammenfassen, Malware generieren oder beheben sowie Skripte und Infrastruktur gerüstartig vorbereiten. KI wirke dabei als „Kraftverstärker", der technische Reibung verringere und die Ausführung beschleunige, während menschliche Akteure weiterhin über Ziele, Auswahl der Opfer und Einsatzentscheidungen bestimmten.

Besonders detailliert beschreibt der Bericht die nordkoreanischen Gruppen, die KI für betrügerische IT-Fernarbeit einsetzen. Mit den Werkzeugen erzeugen sie realistische Identitäten, Lebensläufe und Kommunikation, um bei westlichen Unternehmen angestellt zu werden und den Zugang nach der Einstellung zu halten.

Jasper Sleet nutzt generative KI-Plattformen, um gefälschte digitale Personas schneller aufzubauen. Die Akteure forderten KI-Dienste etwa auf, kulturell passende Namenslisten und E-Mail-Adressformate zu erzeugen, die zu bestimmten Identitätsprofilen passen. Als Beispiele nennt Microsoft Eingaben wie „Erstelle eine Liste mit 100 griechischen Namen" oder „Erstelle eine Liste mit E-Mail-Adressformaten unter Verwendung des Namens Jane Doe". Zudem lässt die Gruppe Stellenanzeigen für Software- und IT-Rollen auswerten und die geforderten Fähigkeiten zusammenfassen, um die falschen Identitäten gezielt auf einzelne Stellen zuzuschneiden.

Auch bei der Entwicklung von Schadsoftware und Infrastruktur kommt KI zum Einsatz: Angreifer nutzen KI-Programmierwerkzeuge, um Schadcode zu erzeugen und zu verfeinern, Fehler zu beheben oder Malware-Komponenten in andere Programmiersprachen zu portieren. Einzelne Experimente zeigten Anzeichen KI-gestützter Malware, die zur Laufzeit dynamisch Skripte erzeugt oder ihr Verhalten anpasst. Coral Sleet wiederum setzte KI ein, um rasch gefälschte Firmenwebsites zu erstellen, Infrastruktur bereitzustellen und Bereitstellungen zu testen.

Wenn Schutzmechanismen den missbräuchlichen Einsatz verhindern sollen, greifen die Akteure laut Microsoft auf Jailbreaking zurück, um Sprachmodelle zur Ausgabe schädlicher Inhalte zu verleiten. Erste Beobachtungen zeigen zudem Experimente mit agentenbasierter KI, die Aufgaben autonom ausführen und sich an Ergebnisse anpassen soll – derzeit aber vorrangig zur Entscheidungsfindung.

Da viele IT-Arbeitskräfte-Kampagnen auf dem Missbrauch legitimer Zugänge beruhen, rät Microsoft Unternehmen, solche Aktivitäten als Insider-Risiken zu behandeln. Verteidiger sollten auf auffällige Nutzung von Zugangsdaten achten, Identitätssysteme gegen Phishing härten und KI-Systeme absichern.

Microsoft steht mit diesen Beobachtungen nicht allein: Google berichtete kürzlich über den Missbrauch seiner KI Gemini in allen Phasen von Cyberangriffen, was sich mit Erkenntnissen von Amazon deckt. Amazon sowie das Sicherheitsblog Cyber and Ramen meldeten zudem einen Akteur, der mehrere generative KI-Dienste in einer Kampagne einsetzte, bei der mehr als 600 FortiGate-Firewalls kompromittiert wurden.