Garrity ordnet die Zahlen gegenüber Dark Reading nüchtern ein: Für alle, die mit den Abläufen koordinierter Schwachstellenoffenlegung vertraut seien, komme das Ergebnis nicht überraschend. Es unterscheide sich allerdings deutlich von der Erzählung, die Anbieter von Frontier-Modellen bislang aufgebaut hätten – einer Erzählung, die sich stark auf die Fähigkeit von KI konzentriert, die Entdeckung von Schwachstellen massiv zu beschleunigen. “Es sieht so aus, als würden sie das gerade durch Versuch und Irrtum lernen”, sagt er.
Zweifel meldet der VulnCheck-Forscher auch bei Anthropics Angaben zur Trefferquote an. Dass mit 202 behobenen Funden weniger im Register stehen als die 245 zurückgezogenen Meldungen, mache eine genauere Prüfung nötig, wie Anthropic seine angegebene True-Positive-Rate von 91,4 Prozent überhaupt definiere und messe.
Deutlich fällt zudem die Diskrepanz bei der Schwerebewertung aus. Claude stufte 91,5 Prozent der ins Register gelangten Funde als kritisch oder hoch ein – die Maintainer der betroffenen Projekte kamen bei denselben Meldungen nur auf 61,3 Prozent. “Mein Bauchgefühl sagt mir, dass das Team Claude keine detaillierten Anweisungen zur Bestimmung des Schweregrads gegeben hat, oder dass diese Anweisungen nicht gut durchdacht waren, was zu höheren Einstufungen führte”, so Garrity. Er wünsche sich Einblick in die verwendeten CVSS-Metriken und die zugeordneten CWEs – beides Industriestandards, die bei einer Offenlegung erwartet würden.
Dass KI-Systeme bei der Bewertung von Schwachstellen schwanken, ist kein Glasswing-spezifisches Problem. Untersuchungen von Contrast Security zeigten erhebliche Streuung in den Ergebnissen KI-gestützter Sicherheitsscanner: Mehrfache Durchläufe desselben Werkzeugs gegen dieselbe Codebasis lieferten deutlich unterschiedliche Funde, und verschiedene Scanner stimmten nur bei einem kleinen Teil der Schwachstellen überein.
Jeff Williams, Gründer von Contrast Security und Urheber der OWASP Top 10, schildert einen Test mit drei KI-Scannern, die jeweils dreimal gegen eine Codebasis mit 50.000 Zeilen liefen. Ein einfacher Scan auf Sonnet-Basis reproduzierte über die drei Durchläufe hinweg nur 17 Prozent seiner eigenen Funde, Opus kam auf 25 Prozent, schwankte zwischen bestem und schlechtestem Durchlauf aber um fast 30 Prozent in der Zahl der Funde. Über alle drei Scanner hinweg lag die Übereinstimmung bei 5 Prozent der Funde.
Daraus ergibt sich für Williams eine verschobene Ökonomie der Schwachstellenforschung: Das Finden potenzieller Fehler wird billig, das Aussortieren teuer. Der Scan einer Codebasis mit zwei Millionen Zeilen habe rund 315 US-Dollar an API-Gebühren gekostet – die Sichtung der Ergebnisse rund 128.000 US-Dollar.
Die Analyse fällt in eine Phase, in der Project Glasswing und vergleichbare Initiativen der Branche massenhaft neue Schwachstellen produzieren und damit Sicherheits- und Remediation-Teams unter Druck setzen. Als Beispiel für die Größenordnung nennt der Bericht Microsofts Rekord-Patchday im September, an dem 974 Schwachstellen geschlossen wurden.
“Die Welt betreibt Sicherheit immer noch in menschlicher Geschwindigkeit”, sagt Williams. Mehr und schnellere Funde helfen ihm zufolge nicht weiter – er verweist auf die geringe Zahl von Glasswing-Funden, die überhaupt einen Maintainer erreicht haben, und die noch geringere Zahl bestätigter Fixes. “Und das ist Anthropic mit unbegrenzter Rechenleistung und mit Apple, Google und Microsoft als Partnern. Das passiert, wenn man einen Feuerwehrschlauch auf einen Trichter richtet.”