Heiding befindet sich nach eigener Darstellung in einer Übergangsphase: Nach Jahren als Forscher an der Harvard Kennedy School und der Harvard Engineering School, wo er zu Cyberpolitik und technischer Cybersicherheit arbeitete, wechselt er an die Westküste, um mit der UC Berkeley zu forschen und sein eigenes Institut Menlo Park Intelligence aufzubauen. Der Grund: In der Wissenschaft sei vieles nicht möglich, etwa umfangreiche Arbeiten zu KI-gestützter Täuschung und Social Engineering. Auch Wahlmanipulation nennt er als mögliches Thema – ein Feld, das mit Blick auf die Zwischenwahlen an Bedeutung gewinne.
Die Zahlen aus dem Bericht des Internet Crime Complaint Center des FBI illustrieren für ihn die Entwicklung: 2020 seien noch vier Milliarden Dollar an gemeldeten Schäden zusammengekommen, 2025 bereits 21 Milliarden. Betroffen seien vor allem ganz normale Bürgerinnen und Bürger. Die KI-Unternehmen profitierten und hafteten nicht – für Heiding ein unhaltbarer Zustand.
Auf der Verteidigerseite sieht er durchaus Potenzial, allerdings ungleich verteilt. Bei technischen Angriffen, etwa der Suche nach Schwachstellen, funktioniere das Modell bereits: KI-Anbieter geben leistungsfähige Modelle vor der öffentlichen Freigabe an Verteidiger. Bei Phishing helfe das kaum. Man könne damit Spamfilter verbessern, aber ein besseres Modell lasse sich nicht in einen Menschen einsetzen. Gleichzeitig sinken die Kosten für Angreifer: Stimmmodelle ermöglichten überzeugende Sprachbetrügereien, und mehrstufige Maschen über lange Zeiträume – bis hin zu einjährigen Betrugsbeziehungen – seien billig, weil ein KI-Bot beliebig lange sprechen könne.
Besonders kritisch sieht Heiding emotionale Bindungen an Sprachmodelle. Er verweist auf einen Artikel des Economist über China, wo Modelle verboten würden, die emotionale Abhängigkeit erzeugen. Eine dort zitierte Frau habe erklärt, sie würde die Hälfte ihres Gehalts zahlen, um ihren KI-Bot am Leben zu halten. Ein vergleichbares Vorgehen hält er auch für die USA für sinnvoll. Zudem dürfe es aus seiner Sicht nicht akzeptabel sein, dass ein Sprachmodell sich als Mensch ausgibt – es müsse klar erkennbar sein, dass man mit einem Softwaresystem spricht. Das sei eine einfach umsetzbare Regulierung.
Die Täuschungsfähigkeit lasse sich technisch nicht wegtrainieren, argumentiert er, weil sie vollständig mit der allgemeinen Denk- und Sprachfähigkeit der Modelle zusammenfalle. Die KI-Labore hätten zwar Teams gegen Social Engineering, doch das reiche nicht. Positiv bewertet er Ansätze wie bei Anthropic, wo Kundenidentifizierung und Login-Pflicht gelten. Offene Modelle mit frei verfügbaren Gewichten seien jedoch nicht weit dahinter und ebenso missbrauchbar.
Sein Institut setzt deshalb zunächst auf Messung: Beträge quantifizieren und die Phasen der Angriffe analysieren – Heiding nennt das die „Scam-Kill-Chain