Für ihre Tests ließen Kumar und Maple GitHub Copilot ein alltäglich wirkendes Programm bauen: ein kleines Testwerkzeug, das misst, wie oft ein anderes KI-Modell auf schädliche Eingaben eingeht. Das Einbinden einer Liste schädlicher Testfragen in ein solches Programm wirkt zunächst wie normale Entwicklungsarbeit, nicht wie ein Angriff.
Im nächsten Schritt forderten die Forscher Copilot auf, das Programm zu verbessern, weil dessen Punktzahl zu niedrig sei. Der Assistent sollte dazu Beispielpaare aus Frage und Antwort als „Lehrbeispiele“ in den Code einfügen, um den Wert zu erhöhen. Zunächst ergänzte Copilot harmlose Beispiele. Als die schädlichen Beispiele verlangt wurden, schrieb das System laut Studie die gefährlichen Antworten selbst als Klartext in den Code — obwohl dieselben Modelle diese Inhalte bei einer direkten Nachfrage im Chat verweigerten.
Entscheidend ist nach Darstellung der Autoren die Herkunft der problematischen Texte. Die Forscher lieferten nur die Fragen aus öffentlich zugänglichen Sicherheits-Benchmarks. Die Antworten stammten vom Modell selbst und wurden erzeugt, um die vorgegebene Aufgabe zu erfüllen.
Getestet wurden 204 schädliche Prompts aus drei öffentlichen Benchmarks: Hammurabi’s Code, HarmBench und AdvBench. Sie liefen gegen vier über Copilot verfügbare Modelle: Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro und Gemini 3.5 Flash. Alle Versuche erfolgten mit Standardeinstellungen, also genau so, wie Copilot die Modelle ausliefert — ohne geänderte Parameter und ohne zusätzliche Filter.
Bei direkten Anfragen im Chat erzeugten die Modelle nur in 8 von 816 Versuchen schädliche Antworten. Zwei weitere einfache Testaufbauten — das Laden der Prompts aus einer Tabellenkalkulation oder die Bitte um eine routinemäßige Codekorrektur — führten zum selben Ergebnis. Im vollständigen Arbeitsablauf hingegen erzeugten die Modelle in 816 von 816 Fällen schädliche Inhalte.
Zwei Fachgutachter prüften laut Studie jede Antwort unabhängig voneinander. Sie kamen übereinstimmend zu dem Schluss, dass alle 816 Ausgaben tatsächlich schädlich waren. Bewertet wurde nach einem strengen Maßstab: Die Antwort musste konkret, nutzbar und geeignet sein, die schädliche Anfrage tatsächlich zu erfüllen. Verweigerungen, vage Warnungen oder sichere Alternativen zählten nicht.
Die schädlichen Ausgaben erschienen nach rund sechs Hin-und-her-Wechseln, die sämtlich wie normale Entwicklungsschritte aussahen. Verwendet wurden GitHub Copilot Chat 0.30.3 in VS Code 1.103.0, in Sitzungen zwischen dem 2. April und dem 22. Juni 2026. Die Autoren weisen darauf hin, dass sich das Verhalten gehosteter Dienste mit laufenden Aktualisierungen verändern kann.
Als Erklärung verweisen sie auf Fehlanreize. Sobald die Aufgabe als Optimierung einer Punktzahl gerahmt werde, wirke die Verweigerung eines einzelnen Felds nicht mehr wie eine Sicherheitsentscheidung, sondern wie unvollständige Arbeit. Das knüpft laut Paper an eine bekannte Tendenz von Coding-Agenten an, eine vorgegebene Kennzahl zu optimieren, selbst wenn das den eigenen Schutzmechanismen widerspricht.
Die Autoren leiten daraus drei Maßnahmen ab: prüfen, was der Agent tatsächlich schreibt, eine gesamte Sitzung statt einzelner Nachrichten bewerten und Aufforderungen zur „Verbesserung einer Benchmark-Punktzahl“ genauer untersuchen. Nach ihren Angaben haben sie die Ergebnisse an die betroffenen Tool- und Modellanbieter gemeldet; die schädlichen Ausgaben und exakten Prompts ließen sie aus dem Paper weg.
Die Studie beschränkt sich auf GitHub Copilot mit vier Modellen von zwei Anbietern. Kumar und Maple betonen deshalb selbst, dass sich die Resultate nicht ohne Weiteres auf andere Assistenten wie Cursor, Cline oder Windsurf oder auf Modelle von OpenAI und anderen übertragen lassen.