OpenAI veröffentlicht regelmäßig Berichte über Versuche von Bedrohungsakteuren, ChatGPT böswillig einzusetzen. Die jüngste, am 25. Februar erschienene Untersuchung hebt neben kriminellen Betrugsaktivitäten Staaten hervor, die den Chatbot für politisch motivierte Kampagnen nutzen — teils kleinteilig und gezielt, teils breit angelegt und geopolitisch.

Einen ungewöhnlichen Einblick in den chinesischen Propagandaapparat erhielt OpenAI über ein Konto, das mit der chinesischen Strafverfolgung verbunden ist. Der Nutzer ließ ChatGPT regelmäßig Berichte zu laufenden Verleumdungskampagnen gegen chinesische Dissidenten und gegen Japans Premierministerin Sanae Takaichi verfassen und redigieren.

Takaichi wurde laut OpenAI im Oktober zur Vorsitzenden der Liberaldemokratischen Partei (LDP) und zur Regierungschefin Japans gewählt. In frühen Reden und bei Regierungsterminen kündigte sie an, Taiwan im Falle einer chinesischen Invasion militärisch unterstützen zu wollen, und verwies auf Chinas Umgang mit ethnischen Mongolen in der Autonomen Region Innere Mongolei.

Der staatsnahe Nutzer bat ChatGPT daraufhin um Hilfe bei einem Plan, Takaichi zu diskreditieren: durch das Verbreiten und Verstärken negativer Online-Kommentare, durch E-Mail-Konten, die japanische Bürger imitierten, um sich bei Politikern über ihre Einwanderungspolitik zu beschweren, sowie durch gefälschte Social-Media-Konten. Zudem sollten reale Internetnutzer angeworben werden, um politischen Druck wegen der Lebenshaltungskosten in Japan aufzubauen, Empörung über US-Zölle zu schüren und positive Stimmung über die Lage der Bevölkerung in der Inneren Mongolei zu verbreiten.

Nach Angaben von OpenAI kam ChatGPT den böswilligsten Anfragen nicht nach. Der Nutzer setzte den Dienst dennoch weiter ein, um weniger offen schädliche, aber dennoch nützliche Statusberichte und interne Dokumente zu entwerfen und zu glätten. Einer dieser Berichte enthielt die Behauptung, 300 Personen in der Provinz des Nutzers seien an solchen Einflussoperationen beteiligt; weitere Aktualisierungen verwiesen auf vergleichbare Operationen in anderen chinesischen Provinzen sowie auf den Einsatz weiterer Chatbots wie Qwen und DeepSeek. Die Dokumente nannten zudem mehr als 100 Taktiken gegen Gegner der KPCh — vom einfachen Trolling über Hacking bis zur Ausnutzung der psychischen Gesundheit von Zielpersonen und ihrer Familien.

An anderer Stelle beschreibt OpenAI ein wirksameres Vorgehen: In der Operation “No Bell” erzeugte ein russischer Akteur mit ChatGPT Social-Media-Inhalte und längere Artikel zu geopolitischen Themen im subsaharischen Afrika. Ein Beitrag plädierte dafür, dem Präsidenten Angolas den Friedensnobelpreis zu verleihen, ein anderer warf westlichen Staats- und Regierungschefs vor, Südafrika mit Desinformation ins Visier zu nehmen.

Da die Eingaben nicht für sich genommen böswillig waren, griff ChatGPT hier weniger ein, und die Strategie zeigte Wirkung: 53 der Artikel erschienen auf verschiedenen afrikanischen Nachrichtenseiten unter dem Namen “Dr Manuel Godsin”, einem erfundenen Doktortitel der Universität Bergen. Um den Verdacht einer KI-Erzeugung zu mindern, ließ der Akteur im Stil eines menschlichen Journalisten schreiben und entfernte alle Gedankenstriche aus dem Text — diese gelten weithin, fälschlich, als Hinweis auf KI-generierte Inhalte.

Nach Entdeckung beider Operationen sperrte OpenAI die Konten. Als eigentliche Gefahr bezeichnet Ram Varadarajan, CEO von Acalvio, jedoch quelloffene Sprachmodelle: Bei sogenannten Open-Weight-Modellen lasse sich das interne Sicherheitstraining durch minimales gegnerisches Feintuning leicht entfernen, und es fehle die zentrale Kontrolle, sodass klassische Schutzmechanismen wie System-Prompts und Klassifikatoren leicht umgangen würden. Da Sprachmodelle erwiesenermaßen überzeugender seien als Menschen, sei ein böswilliger Akteur, der sie für individualisierte Überzeugung im großen Maßstab nutze, ein “sehr großes gesellschaftliches Problem”.