Die Untersuchung von 1Password lief unter dem Namen „Fix-Like Artifacts with Embedded Defects“, kurz FLAWED. Analysiert wurden verschiedene Patching-Pipelines, unterschiedliche Eingabeaufforderungen und zwei verbreitete Modelle. Für sechs größere Open-Source-Lücken kam das Team zu dem Ergebnis, dass weniger als die Hälfte der Probleme tatsächlich sauber behoben wurde.
1Password teilte die Resultate in fünf Szenarien ein: behoben; behoben durch Verhaltensänderung; nicht behoben; behoben, aber mit neuer Schwachstelle; sowie nicht behoben und zusätzlich neue Schwachstelle eingeführt. Nur 26 Prozent der Patches beseitigten die ursprüngliche Lücke, ohne das Verhalten der Anwendung zu verändern. Weitere 20 Prozent schlossen die Schwachstelle, änderten aber die Funktionsweise des Codes. Der größte Anteil, 49 Prozent, behob die Schwachstelle laut Forschungsbericht gar nicht.
Keith Hoodlet sagte, auf Basis der Untersuchung sei die Erfolgsquote bei KI-generierten Patches für neuartige Schwachstellen, die nicht Teil der Trainingsdaten der KI-Labore seien, „bezogen auf die Ergebnisse ins Negative gekippt“. Zudem scheinen KI-Systeme nach seiner Einschätzung Schwachstellen leichter ausnutzen als reparieren zu können. Diese Asymmetrie sei problematisch, weil Angreifer KI zunehmend zur Suche nach Schwachstellen und zur Automatisierung von Angriffen einsetzen.
Die Resultate ähneln laut dem Bericht einer Untersuchung des Application-Security-Anbieters Veracode. Das Unternehmen kam über mehr als 100 Modelle und 80 Programmieraufgaben auf eine durchschnittliche Sicherheits-Bestehensquote von 56 Prozent für KI-generierten Code. Zugleich enthielten 44 Prozent des erzeugten Codes nach Unternehmensangaben erkennbare Schwachstellen aus den OWASP Top 10. Sam Guyer, Principal Architect bei Veracode, sagte, die Forschung zeige, dass große Sprachmodelle bei mehreren möglichen Implementierungen sehr inkonsistent darin seien, ob sie sichere oder unsichere Strategien wählen. Die Ausgabe könne vollständig und funktionsfähig wirken, aus Sicherheitssicht aber dennoch unzuverlässig bleiben.
Konkrete Relevanz hat das laut Bericht für Versuche, Schwachstellen mit KI schnell zu schließen, bevor Angreifer selbst leistungsfähige Modelle dafür einsetzen. Hoodlet verwies in diesem Zusammenhang auf OpenAIs Ankündigung „Patch the Planet“ vom Juni, bei der das Unternehmen zusammen mit der Sicherheitsberatung Trail of Bits Schwachstellen finden und schließen will. Dieses Vorhaben habe bereits mit Qualitätsproblemen bei den Patches zu kämpfen. Guyer erklärte dazu, er könne bestätigen, dass es im Patch-Satz vom Wochenende definitiv Ergebnisse der FLAWED-Szenarien drei, vier und fünf gegeben habe — also Patches, die die ursprüngliche Schwachstelle nicht beheben, eine neue verursachen oder beides.
Als weiteres Problem nannte Hoodlet den Umgang von Entwicklern mit agentischer KI. Immer häufiger werde von solchen Systemen erzeugter Code ohne kritische Prüfung des Codebestands übernommen. Eine Studie des Entwicklungswerkzeug-Anbieters Cursor ergab, dass 36 Prozent der Änderungen automatisch akzeptiert werden, ohne dass die Codeänderungen manuell geprüft werden. Die Messung bezieht sich laut Bericht auf das Änderungsvolumen, nicht auf die Zahl der Entwickler.
Trotz der Schwächen sehen Fachleute Nutzen in der Technologie — allerdings nur mit Kontrolle. Robert Coles, Senior Cybersecurity Engineer bei Black Duck, sagte, die Erkenntnis sei nicht, dass KI-generierte Patches grundsätzlich nicht funktionieren, sondern dass sie weiterhin menschliche Validierung erfordern. Entwickler sollten KI-Code und KI-Patches laut Guyer als vorgeschlagene Änderungen behandeln, nicht als verifizierte Korrekturen. Er empfiehlt Funktions- und Regressionstests, menschliche Prüfungen bei sensiblen oder komplexen Änderungen sowie eine statische Analyse des Gesamtprogramms, die Datenflüsse über Dateien, Abhängigkeiten und Aufrufpfade hinweg nachvollziehen kann.
Hoodlet sieht zugleich Fortschritte bei den Modellen. Besonders bei der Erstellung von Code für formale Verifikation würden sie deutlich besser. Wenn Menschen belastbare Spezifikationen liefern, könnten KI-Systeme Code künftig formaler gegen diese Vorgaben prüfen.