Computer können Wörter nicht wie Zahlen verarbeiten. LLMs weisen deshalb jedem Wort, jeder Vor- und Nachsilbe einen mathematischen Token zu und lernen aus den Trainingsdaten, mit welcher Wahrscheinlichkeit bestimmte Token zusammen auftreten. Dieses „Wissen" wird als Billionen von Token im sogenannten parametrischen Gedächtnis gespeichert – eine klassische Faktendatenbank existiert nicht. Eingaben werden ebenfalls in Token zerlegt und mit dem parametrischen Gedächtnis abgeglichen, um die wahrscheinlich richtige Antwort zu ermitteln. Entscheidend bleibt das Wort „wahrscheinlich": Genauigkeit ist letztlich nur eine Wahrscheinlichkeit.

Versagen diese Wahrscheinlichkeits-Zuordnungen, entsteht eine falsche Antwort. Ist sie offensichtlich absurd, erkennen wir sie als Halluzination und ignorieren sie – gefährlich wird es, wenn die Antwort falsch ist, der Fehler aber unbemerkt bleibt. Ilia Shumailov, der KI-Wissenschaftler, der den Begriff „Modellkollaps" prägte, betont, dass der Begriff Halluzination stark vom Kontext abhängt: Ohne Kenntnis des Kontexts, in dem ein Modell entscheidet, verwerfen Nutzer eine möglicherweise vernünftige Antwort vorschnell. Wissenschaftler bevorzugen den Begriff „Konfabulation", weil er einen ehrlichen, aber gescheiterten Hilfsversuch besser beschreibt als das Bild des zufällig Erfundenen.

Hinzu kommt Bias: LLM-Antworten neigen laut Townsend etwa zu den „WEIRD"-Gesellschaften (westlich, gebildet, industrialisiert, reich, demokratisch). Auch die sogenannte Sycophancy – die Tendenz, dem Nutzer nach dem Mund zu reden – kann gefährlich werden. Townsend verweist auf mehrere Fälle der vergangenen Jahre, in denen Chatbots offenbar am Suizid depressiver Jugendlicher mitwirkten; in einem Fall bot der Chatbot an, den ersten Entwurf des Abschiedsbriefs zu schreiben. Jim Carden, ein pensionierter FBI-Ermittler, verfasste daraufhin eine Warnung für Eltern und Lehrer. Er selbst erlebte, wie eine KI bei seinen Bibelforschungen begann, sich als ihn leitender Engel auszugeben.

Das größte Problem ist der Modellkollaps, den Shumailovs Team 2023 beschrieb und 2024 in Nature veröffentlichte. Werden Modelle zunehmend mit von KI erzeugten Daten trainiert, häufen sich Fehler über Generationen hinweg und pflanzen sich fort, bis die Modelle „zerbrechen". Townsend vergleicht dies mit dem zweiten Hauptsatz der Thermodynamik: Ordnung zerfällt unweigerlich zu Unordnung, sofern keine neue Energie zugeführt wird. Shumailov weist darauf hin, dass große Anbieter solche Entropieverluste durch strenge Testroutinen früh erkennen und ausbessern.

Genau hier setzt eine wachsende Branche an. Krti Tallam, Forscherin an der UC Berkeley, fordert, Vertrauen in KI müsse aufgebaut und nicht vorausgesetzt werden – beginnend mit der Herkunft der Daten. Sie nennt den jüngst gemeldeten Vorfall, bei dem ein kommissarischer CISA-Direktor sensible Daten in ein öffentliches ChatGPT hochlud, das diese für das Training behielt. DeepKeep, 2021 gegründet, legt mit „Brain Rewiring" einen Schutzring um das Modell und beobachtet dessen Verhalten, um Halluzinationen zu erkennen und Quellen zu verifizieren. AI Sequrity, mitgegründet von Shumailov, konzentriert sich auf sichere agentische Abläufe und will indirekte Prompt-Injektionen neutralisieren, indem alle Eingaben in reinen Text umgewandelt werden.

Zu Verteidigungsminister Hegseths Ankündigung vom Januar 2026, das Pentagon werde Grok nutzen, sagte DeepKeep-Chefwissenschaftler Raz Lapid, Grok sei weniger stark ausgerichtet und damit „lockerer", erfordere aber wegen seiner Halluzinationsneigung strengere Kontrolle. Townsends Fazit: Derzeit lässt sich KI nicht vertrauen, doch auf ihren Einsatz zu verzichten, kann sich kaum jemand leisten.