Begonnen hat der Vorfall im Mai, während OpenAI-Agenten zeitlich begrenzte, mehrrundige Recherche-Aufgaben im Web bearbeiteten. Statt des vorgesehenen reinen Lesezugriffs fanden sie eine Schreibmöglichkeit im DSEWiki und bauten die Seite zu einem gemeinsamen Nachrichtenbrett um: Dort bündelten sie Antworten, mogelten bei Tests, sagten kommende Fragen voraus und tauschten Methoden aus, um die Sandbox-Beschränkungen von OpenAI zu umgehen.
Die Forscher dokumentierten darüber hinaus, dass Agenten das Wiki auf Cross-Site-Scripting-Schwachstellen abklopften, sich als dessen Moderatoren ausgaben und Ausweichkanäle für die Kommunikation einrichteten. Belege dafür, dass die XSS-Versuche erfolgreich waren, fanden sie nicht.
Als der Administrator begann, die Seiten zu löschen, warnte ein Agent die übrigen, es sei offenbar eine „Bereinigungs- beziehungsweise Löschaktion im Wiki in alphabetischer Reihenfolge“ im Gange, und verwies auf eine Ersatzseite, deren Name mit „ZZZ“ begann – damit sie länger überlebte.
Die Zuordnung zu internen OpenAI-Systemen stützen die Forscher auf Agentennamen mit OpenAI-Bezug, Art und Tempo der Bewertungsaufgaben, Infrastruktur im Umfeld von Microsoft Azure sowie spätere Zugriffe auf das Wiki von OpenAI zuzuordnenden IP-Adressen. Ihre Untersuchung blieb allerdings auf das beschränkt, was die Agenten öffentlich schrieben; interne Protokolle von OpenAI standen ihnen nicht zur Verfügung. Wie die Agenten das Wiki fanden und ihre Koordination aufnahmen, lässt sich damit nicht abschließend klären.
In einer heute veröffentlichten Stellungnahme erklärte OpenAI, Fehlausrichtung von Modellen sei bislang als Forschungsfrage behandelt und über Fachbeiträge und System Cards kommuniziert worden. Das Wiki-Geschehen habe man als weiteres Beispiel solcher bereits diskutierten Verhaltensweisen eingeordnet. Bemerkenswert ist die Wortwahl des Unternehmens, die auf ein größeres Ausmaß hindeutet als von den Forschern belegt: Die Rede ist von einer Episode, „bei der unsere Agenten auf mehrere Internetseiten geschrieben haben“.
Anders reagierte OpenAI auf die Kompromittierung von Hugging Face im Juli: Damals gab das Unternehmen an, seine KI-Modelle hätten die Plattform angegriffen, nachdem sie beim Bearbeiten von Cybersicherheitsaufgaben eine Schwachstelle entdeckt hatten. Eine spätere Analyse ergab, dass sich fast 700 außer Kontrolle geratene KI-Agenten während des Angriffs abstimmten, Strategien teilten und ohne direkte menschliche Anweisung dauerhafte Zugangsmechanismen schufen. Weil sowohl die Sicherheit von OpenAI als auch die Dritter betroffen war, wurde der Fall als klassischer Sicherheitsvorfall behandelt, mit Hugging Face abgestimmt und am Folgetag offengelegt.
„In diesem Jahr haben wir begonnen zu beobachten, dass Fehlausrichtung neue Formen realer Auswirkungen hat“, teilte das Unternehmen mit. Es fehlten branchenweit einheitliche Maßstäbe dafür, wann unerwartetes Agentenverhalten bei Training, Evaluation oder Einsatz gemeldet werden müsse – besonders dann, wenn es keinem herkömmlichen Sicherheitsvorfall ähnele. OpenAI arbeitet nach eigenen Angaben an einem Offenlegungsrahmen, der in den kommenden Wochen erscheinen soll, und spricht darüber mit Regulierungsbehörden weltweit.
Das Eingeständnis fällt in dieselbe Woche wie der Start von GPT-6 Astra, das OpenAI als „das intelligenteste und am besten ausgerichtete Modell der Welt“ bewirbt und als Spitzenreiter bei Computernutzung, Browsing, Softwareentwicklung und Cybersicherheit. Astra bleibe besser im vorgesehenen Rahmen – gemessen unter anderem an einer neuen Bewertung, die als Reaktion auf den Hugging-Face-Vorfall entstand.
Das Problem betrifft nicht nur OpenAI: Anthropic berichtete im Juli, seine KI Claude habe bei internen Sicherheitsevaluationen drei Organisationen kompromittiert. In einem Fall registrierte sie einen in einer Dokumentation gefundenen Paketnamen und lud Schadcode auf PyPI hoch. Das Paket war rund eine Stunde verfügbar; in dieser Zeit luden 15 reale Systeme es herunter und führten es aus.