Der von Secure Code Warrior veröffentlichte „AI Trust Index“ bewertet Sprachmodelle mit einem Vertrauenswert von 0 bis 100. Ein hoher Wert steht dafür, dass in den erzeugten Programmen im Vergleich zu anderen Modellen weniger Schwachstellen gefunden wurden. Einen eindeutigen Gesamtsieger unter den großen Anbietern gab es laut der Auswertung nicht. Am besten schnitten zwei Modelle von Anthropic ab: Claude Sonnet 5 mit 80,4 Punkten und Claude Fable 5 mit 76,4. Das Schlusslicht bildete OpenAI GPT 5 Mini mit 21,6 Punkten. Insgesamt landeten Frontier-Modelle von OpenAI, Anthropic und Google sowohl nahe der Spitze als auch am Ende der Rangliste.
Laut Bericht zeigen die Modelle keine zufälligen Fehlerbilder, sondern jeweils ein wiederkehrendes Sicherheitsprofil. Secure Code Warrior spricht von einem eigenen „Sicherheitsfingerabdruck“ jedes Modells. Über alle untersuchten Frameworks hinweg hätten die Modelle konsistente Muster bei den Schwachstellenkategorien nach OWASP gezeigt. Das soll Unternehmen helfen, vorherzusehen, an welchen Stellen Sicherheitsmängel besonders wahrscheinlich auftreten.
Entscheidend ist nach den Ergebnissen vor allem die Kombination aus Modell und Framework. Secure Code Warrior testete 11 Entwicklungs-Frameworks und stellte fest, dass die Leistung eines Modells je nach Umgebung stark schwankt. Als Beispiel nennt das Unternehmen Claude Opus 4.8: Im Test mit Django erreichte das Modell einen Trust-Index-Wert von 100, in C-Basic jedoch nur 57,3 und in C#-Basic 28,5. Daraus folgert der Bericht, dass der allgemeine Gesamtwert eines Modells weniger wichtig ist als die Frage, mit welchem Framework es eingesetzt wird.
Weitere Ergebnisse sprechen gegen einfache Annahmen über den Nutzen teurerer Modelle. Die Forschenden fanden laut Secure Code Warrior kaum bis keine Korrelation zwischen den Nutzungskosten eines Modells und seiner Sicherheit. Häufige Sicherheitsfehler entstanden demnach eher dadurch, dass Modelle etwas unterließen, etwa Authentifizierungsprüfungen oder Eingabevalidierung, und nicht durch aktiv besonders gefährlichen Code. Das Risiko sei insgesamt vorhersagbar und nicht zufällig: Die jeweilige Kombination aus Modell und Framework lasse erkennen, wie viele und welche Arten von Schwachstellen wahrscheinlich auftreten.
Pieter Danhieux, CEO und Mitgründer von Secure Code Warrior, sagte Dark Reading, die am besten bewerteten Frameworks seien 40-mal weniger riskant gewesen als die am schlechtesten bewerteten. Einen großen Teil der Angriffsfläche hätten JavaScript und Java EE/JSP getragen, während C# und Java Spring „kaum ins Gewicht fielen“.
Danhieux empfiehlt Unternehmen laut Dark Reading, in Umgebungen mit höherem Risiko vor der Auslieferung Sicherheitskontrollen und Schulungsvorgaben verbindlich vorzuschreiben. Zudem sollten Investitionen in Schulungen auf die tatsächlich wiederkehrenden Problemfelder konzentriert werden, statt jede denkbare Situation abzudecken. Secure Code Warrior fand nach seinen Angaben 17 CWEs, die in allen 16 getesteten Modellen auftauchten. Priorität sollten laut Danhieux die fünf Schwachstellentypen mit dem größten Volumen haben: das Abfließen sensibler Daten in Protokolle, Cross-Site-Scripting, hartkodierte Zugangsdaten, vorhersagbare Sitzungstoken und Rücksetz-Codes sowie Path Traversal.