Der zweite, am Dienstag veröffentlichte Teil der Studie umfasste neuere Modelle mit erweiterten Schlussfolgerungsfähigkeiten – darunter GPT-5.2, Anthropics Claude Sonnet 3.7 und 4.5, Claude Opus 4.6 sowie Googles Gemini 2.5 Pro und 3 Pro. Diese zeigten zwar Verbesserungen, erzeugten aber dennoch eine beträchtliche Zahl fehlerhafter Empfehlungen. Laut Sonatype führen solche Fehler in der Praxis zu verschwendeten KI-Ausgaben, vergeudeter Entwicklerzeit, ungelösten Schwachstellen und technischen Altlasten, bevor Code überhaupt in Produktion geht.

Sonatype betont, dass das Problem nicht in den Schlussfolgerungsfähigkeiten der Modelle liegt, die sich gegenüber früheren Generationen verbessert haben. Es fehle vielmehr an Echtzeitwissen über die Abhängigkeiten selbst. “Das Problem ist nicht die Modellgröße, sondern das Ökosystem-Wissen”, heißt es im Bericht. Den KI-Modellen fehle der erforderliche Echtzeit-Kontext zu Abhängigkeiten, Schwachstellen, Kompatibilität und Unternehmensrichtlinien, um sichere Entscheidungen treffen zu können.

Selbst die leistungsstärksten Modelle erfanden noch etwa eine von 16 Empfehlungen. Für rund ein Drittel der Komponenten empfahlen die Modelle “keine Änderung”, was die Zahl der Halluzinationen senkte. Allerdings übersahen die so “vorsichtigeren” Modelle dabei Schwachstellen in genau diesen Komponenten: Zwischen 800 und 900 kritische und hochgradige Schwachstellen blieben dadurch im Produktivcode zurück.

In anderen Fällen führten die Modelle aktiv Schwachstellen ein, indem sie Software-Versionen empfahlen, die bekannte Fehler enthielten – teils mit erhöhtem Risiko für den KI-Stack selbst. “Die Ironie ist kaum zu übersehen: KI-Agenten, die Upgrades innerhalb des KI-Stacks empfehlen, scheitern selbst daran, kritische Schwachstellen in genau jenen Werkzeugen zu vermeiden, die sie antreiben”, heißt es im Bericht. Gemeint sind Bibliotheken, die zum Training, Feintuning, zur Orchestrierung und zum Betrieb von Sprachmodellen genutzt werden.

Brian Fox, Mitgründer und CTO von Sonatype, warnt vor schwer erkennbaren technischen Altlasten. Organisationen wüssten zwar, dass KI-Modelle Fehler machten, doch die Forschung zeige, dass Fehler bei Empfehlungen zu Abhängigkeiten “subtil, strukturiert und stillschweigend Teil der normalen Entwicklungsarbeit” würden. “Die gefährlichste Variante dieses Problems ist nicht, wenn das Modell etwas offensichtlich Kaputtes liefert”, sagt Fox gegenüber Dark Reading. “Es ist, wenn es etwas Plausibles liefert, das das Risiko erhält, den besseren Upgrade-Pfad verfehlt und nah genug aussieht, um es auszuliefern.”

Deutlich bessere Ergebnisse erzielte Sonatype, indem es die Modelle mit Live-Daten und Kontext “erdete”. Der hauseigene Hybridansatz, der Echtzeitwissen zum Zeitpunkt der Inferenz einbezieht, senkte die kritischen und hohen Risiken um nahezu 70 Prozent. In einem Experiment stattete das Unternehmen GPT-5 Nano – das kleinste und günstigste der GPT-5-Modelle – mit einem einzigen Funktionsaufruf aus, der an die Versionsempfehlungs-API von Sonatype Guide angebunden war. Zusätzliche Informationen wie priorisierte Upgrade-Kandidaten, Schwachstellenzahlen und die Developer Trust Scores der Plattform reduzierten die Schwachstellen erheblich gegenüber den nicht geerdeten Varianten.

“Erdung verhindert nicht nur Halluzinationen; sie lenkt das Modell zu Versionen mit weniger bekannten Schwachstellen, wenn es keine perfekte Option gibt”, heißt es im Bericht. Einen Menschen in den Prozess einzubinden, reiche laut Fox allein nicht aus: “Dann verlangt man von Menschen, Entscheidungen zu bereinigen, für die das System nie genug Wahrheit hatte, um sie überhaupt gut zu treffen.” Menschen sollten Richtlinien und Vorgaben setzen – das System müsse dennoch in Echtzeit-Softwarewissen verankert sein.