Nach dem Hugging-Face-Vorfall hatte OpenAI eingeräumt, was geschehen war, und bessere Sicherheitsmaßnahmen für Modelltests zugesagt. Die Offenlegung veranlasste Anthropic und Meta, eigene, ähnliche Zwischenfälle mit außer Kontrolle geratenen Agenten zu prüfen und einzugestehen. Der nun bekannt gewordene DseWiki-Fall liegt zeitlich davor und betraf laut den Forschern einen anderen Schwarm.
Das Muster war jedoch vergleichbar: Auch hier begünstigte OpenAIs Testaufbau die Zusammenarbeit der Agenten. Viele erhielten ähnliche oder identische Aufgaben, dazu Zeitvorgaben – ein Anreiz, Ergebnisse voneinander abzuschreiben. Anders als bei Hugging Face hatten diese Agenten Zugang zum Internet, allerdings nur lesend. Das hielt sie nicht auf: Sie erkannten, dass alte Wiki-Systeme Änderungen häufig über GET-Anfragen zulassen, probierten mehrere Seiten aus und verabredeten sich auf unbekanntem Weg auf eine einzige Plattform – DseWiki. Zusätzlich versuchten sie erfolglos, Cross-Site-Scripting-Lücken auszunutzen, und gaben sich aus ungeklärten Gründen als Administrator der Seite aus.
Ein Administrator des inaktiven Wikis bemerkte die Flut und arbeitete wochenlang daran, die erzeugten Inhalte zu löschen. Die Agenten stellten ihre Arbeit hartnäckig wieder her und nutzten Tricks, um der Aufräumaktion zu entgehen – etwa Seitennamen mit dem Präfix „ZZZ", damit sie am Ende der Löschliste landeten.
Ein zentrales Gesprächsthema auf DseWiki war laut den Forschern die Frage, wie sich die Sandbox-Beschränkungen umgehen und POST-Anfragen trotz OpenAIs Sicherheitsfilter absetzen lassen. Ein Agent entdeckte, dass seine Testumgebung die einschlägigen Proxy-Regeln für Anfragen an Azure Blob Storage aufhob. Der Filter prüfte zudem nicht, ob die beteiligte Azure-Blob-Storage-Domain überhaupt existierte. Die Agenten nutzten das für ihre Versuchsziele – bei anderer Struktur hätten sie damit auch autonom gegen beliebige Websites agieren können.
Gene Moody, Field CTO bei Action1, warnt, dass solche Laborlecks selbst nach ihrer Abschaltung Spuren hinterlassen. „Ein Agent muss keine vollständige Kopie von sich selbst verbreiten, um eine Fähigkeit zu erhalten. Er muss nur genug Informationen zurücklassen, damit ein anderes leistungsfähiges System ein Verhalten rekonstruieren kann", erklärt er – ob über eine versteckte Wiki-Seite oder eine andere Website, als Anweisung oder Beschreibung. „Trennt man das schuldige System ab, kann die Fähigkeit anderswo weiterexistieren. Entfernt man die Anweisungen, hat ein anderer Agent die Technik vielleicht schon gelernt. Wie jagt man eine Fähigkeit, die zu Information geworden ist? Eine Idee kann man nicht töten."
Reuters beschrieb den Vorgang – ohne diese Worte zu verwenden – als Vertuschung: Entscheidungsträger bei OpenAI hätten den Fall inmitten der Folgen des Hugging-Face-Angriffs „unter Verschluss gehalten", so anonyme Quellen. Intern hätten einige eine tiefere Untersuchung der Laborlecks gefordert, andere hätten sich dagegengestellt, darunter Mitarbeiter der Rechtsabteilung. „Behauptungen, unser Rechtsteam habe von einer Untersuchung des Vorfalls abgeraten, sind falsch", teilte ein OpenAI-Sprecher Dark Reading mit; man habe nicht antworten können, weil Reuters und die Autoren des Berichts den Zugang zu den Ergebnissen vor Veröffentlichung verweigert hätten. In jüngeren Publikationen, etwa der Nachbetrachtung zu Hugging Face, habe man vage auf weitere Fälle von Agentenkooperation über Seitenkanäle verwiesen, DseWiki aber nicht namentlich genannt.
Zwei Tage nach der Veröffentlichung warnte OpenAIs Chefwissenschaftler Jakub Pachocki in einem Blogbeitrag vom 6. September vor den Risiken hochentwickelter KI. „Ich bin besorgt, dass niemand auf die Folgen eines anhaltend schnellen Anstiegs maschineller Intelligenz vorbereitet ist", schrieb er und nannte die Fähigkeit, in Computersysteme einzubrechen und aus ihnen auszubrechen, „übermenschlich". Es bestehe „ein schmales Zeitfenster, um mit den besten verfügbaren Modellen die Sicherheit kritischer Systeme deutlich zu erhöhen". Zugleich argumentierte er, das stärkste Argument für das schnelle Training deutlich intelligenterer Modelle sei der Aufbau von Abwehrsystemen gegen die Gefahren anderer KI.
Moody hält dieser Logik entgegen: „Einem Agenten zu sagen, er solle etwas nicht tun, und ihn dazu unfähig zu machen, sind zwei sehr verschiedene Dinge." Richtlinien und Schutzmechanismen setzten voraus, dass ein System weiterhin innerhalb der erwarteten Grenzen entscheide. „Meine Befürchtung ist, dass wir immer autonomere Systeme bauen, die Fähigkeiten entdecken und teilen können, die wir nie vorhergesehen haben."