„Es ist klar, dass große Sprachmodelle es Angreifern ermöglichen, mit höherer Geschwindigkeit und in größerem Maßstab vorzugehen", schreiben die Forscher von GreyNoise in ihrer Analyse. Die Kampagne lief Ende August und richtete sich gegen zwei Schwachstellen in PaperCut NG und MF. Betroffen waren mindestens 440 Instanzen bei 395 Organisationen in 48 Ländern.
Der Angreifer versuchte offenbar, den Kreis der betroffenen Länder einzugrenzen — mit begrenztem Erfolg: „Unsere beobachtete Opferverteilung zeigt, dass die versuchte Zurückhaltung in einigen Fällen fehlschlug", so GreyNoise. Für Angreifer ist das Experimentieren vergleichsweise risikoarm, da ein Kontrollverlust nicht zwangsläufig das Ende des Vorhabens bedeutet.
PaperCut ist kein Einzelfall. In einem weiteren, kürzlich gemeldeten Vorfall drang ein Angreifer methodisch in ein Netzwerk ein, sammelte Zugangsdaten ein, verschaffte sich Root-Rechte und platzierte seine Schadfunktion — durchgängig unterstützt von hochentwickelten Sprachmodellen, die im Verbund arbeiteten.
Kelli Vanderlee, Senior Manager bei der Google Threat Intelligence Group (GTIG), sieht staatlich gesteuerte Akteure beim Zugang zu kommerziellen KI-Werkzeugen und Trainingsmöglichkeiten im Vorteil gegenüber finanziell motivierten Gruppen. Entscheidend sei aber auch die Bereitschaft zum Experimentieren: „Viele Bedrohungsakteure nutzen Chatbots, um einfache Fragen zu stellen oder Fehler zu suchen, während einige komplexere, mehrstufige Arbeitsabläufe aufbauen." Weil offene Modelle mit frei verfügbaren Gewichten leicht zugänglich sind, demokratisiere sich die Nutzung dieser Fähigkeiten zusehends.
Laut Google nutzen Bedrohungsakteure zudem die Software-Lieferkette, um eigenen Code in jene Software und Skripte einzuschleusen, die von KI-Agenten in Unternehmen erzeugt werden. Staatsnahe Gruppen wie die China-nahe UNC6508 haben es demnach auf die Forschung an fortgeschrittenen KI-Modellen abgesehen, um geistiges Eigentum und leistungsfähigere Modelle zu entwenden.
Ein weiterer Trend ist das Kapern fremder KI-Ressourcen, von Google als LLMJacking bezeichnet. „Angreifer stehlen Zugangsdaten von Entwicklern, kaufen kompromittierte Konten von KI-Plattformen und kapern Cloud-Infrastruktur von Unternehmen, um unautorisierte, rechenintensive Arbeitslasten auszuführen", schreiben die GTIG-Forscher. Noch begrenzen die Kosten vollautomatisierter Angriffe das Machbare, doch Google erwartet, dass diese Kosten sinken werden.
Cliff Steinhauer, Director of Information Security and Engagement bei der National Cybersecurity Alliance (NCA), verweist darauf, dass sich jeder Schritt des Angriffslebenszyklus zunehmend automatisieren lässt — Aufklärung, das Auffinden von Schwachstellen, das Erstellen von Phishing-Kampagnen und das Identifizieren schwacher Punkte. „Es ist unmöglich, seriös einen exakten Zeitpunkt für vollständig autonome Angriffe zu nennen, aber wir müssen darauf nicht warten, um zu wissen, dass KI die Spielregeln bereits verändert", sagt er. Angreifer könnten robustere Angriffe in großem Maßstab ausführen, Verteidigern bleibe weniger Reaktionszeit.
Gegen KI-gestützte und agentische Angriffe helfen laut Vanderlee dieselben Grundlagen wie gegen menschliche oder botgestützte Angriffe: Mehr-Faktor-Authentifizierung gegen den Missbrauch von Identitäten und Sitzungen, eingeschränkte Berechtigungen und kurzlebige Sitzungstoken gegen seitliche Bewegung sowie die Erkennung auffälligen Verhaltens. Steinhauer rät zu automatisierter Erkennung und Reaktion, ohne den Menschen herauszunehmen: „KI kann riesige Informationsmengen schnell verarbeiten, aber erfahrene Sicherheitsfachleute bringen Kontext und Urteilsvermögen mit, die einem automatisierten System entgehen können."