Im Mittelpunkt des von SentinelOne vorgestellten Benchmarks steht nicht, ob ein Modell einzelne technische Teilaufgaben lösen kann. Entscheidend ist vielmehr, ob es eine Untersuchung über längere Zeit konsistent weiterführen kann, wenn neue Erkenntnisse frühere Annahmen entkräften. Dafür nutzte SentinelLabs den Fall Fast16, eine von den Forschern im April dokumentierte Malware aus dem Jahr 2005.

Fast16 wurde für Windows entwickelt, um LS-DYNA zu beeinträchtigen. Diese Engineering-Software wurde Iran offenbar als Teil seines Programms zur Entwicklung von Kernwaffen eingesetzt. SentinelOne zieht zudem eine Parallele zu Stuxnet: Fast16 ähnelt der berüchtigten Sabotage-Malware, entstand aber früher. Dem Bericht zufolge könnte Fast16 von den Vereinigten Staaten entwickelt und zur Sabotage des iranischen Atomprogramms eingesetzt worden sein.

Getestet wurden OpenAIs GPT-5.5 und das neueste GPT-5.6 Sol, Z.ais GLM-5.2 sowie Anthropic Opus 4.7 und 4.8. Der Benchmark verfolgt über acht eskalierende Stufen, ob ein Modell nach Widersprüchen in der Beweislage frühere Schlüsse sauber zurücknimmt und die Analyse entsprechend neu aufbaut. Genau daran scheiterten die meisten Systeme.

GPT-5.6 Sol war laut SentinelLabs das einzige getestete Modell, das alle acht Stufen vollständig absolvierte. Das gelang in drei separaten Durchläufen mit unterschiedlichen Einstellungen für den Begründungsaufwand. GPT-5.5, GLM-5.2 sowie Opus 4.7 und 4.8 lieferten zwar lokal solide Analysen, kamen aber nicht bis zum Ende. GPT-5.5 schaffte es nie über die Anfangsphase hinaus. Die Opus-Modelle neigten nach Angaben von SentinelLabs dazu, die Arbeit für abgeschlossen zu erklären, obwohl Mängel noch nicht behoben waren.

Den Unterschied führt SentinelLabs nicht auf fehlendes technisches Können oder mangelnde Einsicht zurück. Ausschlaggebend sei vielmehr das, was die Forscher als „Wiederherstellung auf Projektebene“ beschreiben. Gemeint ist die Fähigkeit eines Modells, eine widerlegte Schlussfolgerung zurückzunehmen, alle davon abhängigen nachgelagerten Ergebnisse nachzuverfolgen, die eigentliche Ursache zu korrigieren und diese Korrektur durch den Rest der Untersuchung zu tragen, statt nur den unmittelbar sichtbaren Fehler zu flicken.

Trotz des vergleichsweise besten Ergebnisses von GPT-5.6 Sol sehen die Forscher menschliche Aufsicht weiter als unverzichtbar an. Selbst die stärksten Durchläufe hätten erhebliche technische Fehler gemacht. „Erfahrene Reverse Engineers bleiben unverzichtbar“, erklärten die Forscher. „Selbst die stärksten Durchläufe machten semantische Fehler, akzeptierten schwache Qualitätskontrollen und meldeten zu früh Einsatzbereitschaft. Wir bewerten den derzeit besten Einsatz als beaufsichtigte Untersuchungsarbeit, bei der menschliche Analysten Ziele definieren, blinde Flecken aufdecken und die letzte Veröffentlichungsentscheidung behalten.“