Technisch setzen die Angreifer auf Suchmaschinenoptimierung und weitere Verbreitungstechniken, um die Wahrscheinlichkeit zu erhöhen, dass Chatbots ihre Inhalte abrufen und in Gesprächen mit Nutzern verwenden. “Wir vermuten, dass Domains mit hoher Autorität – Universitäten, Behörden – kombiniert mit Quellen öffentlicher Meinungsäußerung wie sozialen Netzwerken, Foren und Nutzerbewertungen besonders erfolgreich darin waren, KI-Antworten zu vergiften”, sagt Simon gegenüber Dark Reading. Je nach Modell prüfe die KI die Quelle und vertraue dem Inhalt stärker, wenn er von einer autoritativen Instanz stamme.
Die Methode ähnelt klassischem SEO-Poisoning, unterscheidet sich aber in einem entscheidenden Punkt. “Hier wird die bösartige Information Teil der KI-Antwort selbst”, erklärt Simon. Eine betrügerische Support-Nummer werde als hilfreicher Hinweis präsentiert – möglicherweise, ohne dass der Nutzer die Seite, die sie geliefert hat, jemals zu Gesicht bekommt.
Auch von Prompt-Injection-Angriffen grenzt Simon das Vorgehen ab: Die Angreifer geben der KI keinerlei explizite Anweisungen, die von Schutzmechanismen abgefangen werden könnten. “Hier bringt die als Fakt dargestellte Desinformation die KI dazu, dem Nutzer die falsche Information zu geben, ohne dass jemals eine Anweisung oder ein Prompt des Angreifers befolgt wird – damit werden sämtliche Abwehrmaßnahmen umgangen.”
Das eigentliche Problem sei das Nutzerverhalten. Während die meisten Internetnutzer gelernt hätten, verdächtige Links zu meiden, begegneten sie der KI als “Alleswisser”, dem sie blind vertrauten. Simon verweist auf eine im August veröffentlichte Untersuchung von Exploding Topics, wonach 91 Prozent der Chatbot-Nutzer die erhaltenen Antworten nicht überprüfen. “Das heißt: Wenn Angreifer die KI kontrollieren und wir ihr blind vertrauen, kontrollieren sie im Grunde uns”, schreibt er.
Vigilance hat nach eigenen Angaben bereits “einige Fälle” registriert, in denen Menschen sich beschwerten, über betrügerische Telefonnummern aus Chatbot-Antworten zur Herausgabe von Zahlungs- oder Kreditkartendaten gebracht worden zu sein. Die Forscher riefen einige der gefälschten Nummern selbst an und trafen auf Mitarbeiter, die ihnen helfen wollten, “unseren Flug umzubuchen” oder “unser Bankkonto zu entsperren” – und dafür Kreditkartendaten verlangten.
Die Auswirkungen lassen sich derzeit nicht beziffern: “Wir glauben, dass die tatsächlichen Schäden dieser Betrugsmaschen gerade jetzt entstehen, und wir sind noch nicht in der Lage, das volle Ausmaß zu erfassen oder zu messen”, so Simon.
Betroffenen Marken empfiehlt er, Kundenbeschwerden über Betrugsfälle ernst zu nehmen und die KI-Antworten samt der zitierten Quellen zu beobachten. “Priorisiert Support, Kontowiederherstellung, Rückerstattungen, Zahlungen und Software-Downloads”, rät Simon. Zurückgelieferte Telefonnummern, E-Mail-Adressen und URLs sollten mit den verifizierten Unternehmensdaten abgeglichen, unbekannte Angaben und wiederkehrende Indikatoren auf voneinander unabhängigen Websites untersucht werden.
Organisationen, die KI-Chatbots und -Agenten in ihre Arbeitsabläufe einbinden, sollten diese zur Laufzeit überwachen und jede Quelle sowie jeden Inhalt prüfen, der in den Kontext gelangt. Auch ausgelieferte Inhalte und das Verhalten der Agenten seien zu analysieren, kritische Details wie Telefonnummern, Links, Softwarepakete und Kommandozeilen zu verifizieren.