Nach Darstellung von Dreadnode liegt ein Kernproblem darin, dass offensive und defensive Aufgaben nur schwer direkt vergleichbar sind. Martin Wendiggensen beschreibt Angriffs- und Abwehrarbeit als grundverschieden: Rot-Team-Agenten hätten viele Wege, eine Active-Directory-Umgebung zu kompromittieren, und ihr Erfolg lasse sich relativ klar bewerten. In der Verteidigung sei das deutlich weniger eindeutig. „Verteidigung ist viel nuancierter. Sie ist weit weniger binär“, sagt er. Gerade deshalb sei es schwierig, hochwertige Trainingsdaten für defensive Aufgaben zu erzeugen.
Nach Angaben von Dreadnode reichen klassische Benchmark-Tests zwar aus, um zu prüfen, wie gut Agenten eine bestimmte Aufgabe lösen. Für das Training seien diese Datenmengen aber nicht ausreichend. Zugleich sei die Erzeugung großer Mengen sicherheitsrelevanter Daten für Blau-Team-Agenten mit erheblichem Zeit- und Arbeitsaufwand verbunden, was laut Wendiggensen zu „menschlichen Engpässen“ führe. Aus Sicht des Unternehmens ist das ein wesentlicher Grund dafür, dass offensive Modelle derzeit besser abschneiden als defensive: Daten für Angriffsaufgaben ließen sich einfacher erzeugen.
Dreadnode begann deshalb, Rot-Team-Agenten gezielt zur Datenerzeugung in Angriffssimulationen einzusetzen und diese Daten anschließend auf Blau-Team-Agenten anzuwenden. Die ersten Ergebnisse fielen deutlich zugunsten der Angreiferseite aus. Laut Wendiggensen erreichten die Rot-Team-Agenten in den Tests typischerweise in weniger als sechs Minuten die vollständige Domänenkontrolle über die Active-Directory-Umgebung. Weil große Sprachmodelle nicht deterministisch arbeiten, nutzten die Agenten dabei über mehrere Testläufe hinweg unterschiedliche Angriffstechniken.
Sehr viel schwächer startete dagegen die Verteidigungsseite. Eines der ersten Probleme war laut Dreadnode, dass die Blau-Agenten mit der Datenmenge einer Untersuchung nicht zurechtkamen. Wendiggensen beschreibt, die Agenten hätten „einfach das Kontextfenster gefüllt und seien dann ausgefallen“. Das Entwicklungsteam ergänzte daraufhin einen Kontextmanager, der den Blau-Agenten helfen soll zu entscheiden, welche Informationen sie behalten, welche sie im Verlauf einer Untersuchung speichern, wie sie diese Informationen komprimieren und wie sie sie bei Bedarf wieder abrufen.
Ein weiteres Problem: Die Blau-Agenten blieben während eines laufenden Angriffs nicht konsequent aktiv. Laut Wendiggensen bearbeiteten sie die ersten eingehenden Warnmeldungen, stellten dann aber die weitere Untersuchung zusätzlicher Aktivitäten oder lateraler Bewegungen ein. Hinzu kam, dass ihre Schlussfolgerungen unter dem Druck eines Live-Angriffs an Qualität verloren.
Im weiteren Verlauf beobachtete Dreadnode jedoch Verbesserungen. Die Blau-Team-Agenten begannen nach einem Angriff rückwärts zu schlussfolgern, um die Art der Bedrohung besser zu verstehen. Zudem stiegen die Bewertungen der Verteidigungsagenten, nachdem die Entwickler die Aufforderungen angepasst hatten, mit denen sich die Agenten ihre Aufgaben selbst zuweisen.
Nach Angaben von Dreadnode ging die Leistungssteigerung mit sinkenden Kosten einher. Wendiggensen verweist darauf, dass KI-Token teuer sein können und bereits einige Windows-Ereignisabfragen auf rund 200.000 Token kommen. Als die Blau-Agenten besser darin wurden, Abfragen gezielter zu stellen und zu entscheiden, welche Daten sie überhaupt extrahieren müssen, sanken die Kosten laut Dreadnode um etwa 25 Prozent.
Weitere Ergebnisse und Beobachtungen will Wendiggensen in der kommenden Woche auf einer Black-Hat-USA-Session gemeinsam mit Jayson Grace, früherer Principal Software Architect bei Dreadnode und inzwischen bei Google, sowie Shane Caldwell, Principal Research Engineer bei Dreadnode, vorstellen.