Coxon, früher KI-Forscher bei OpenAI und bei Anthropic, hatte geschrieben, die Menschen, die KI bauen, glaubten aufrichtig, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte. Hubingers Antwort zielt auf den Kern des Problems: das Alignment. Gemeint ist die Zusicherung, dass die Handlungen eines KI-Systems an die Absichten seiner Entwickler gebunden bleiben. Fehlausrichtung ist umgangssprachlich das, was Modelle außer Kontrolle geraten lässt – unbeabsichtigte Aktionen, die sich gegen unbeabsichtigte Ziele richten können.
Verschärfen würde sich das Problem, wenn eine künftige Artificial General Intelligence (AGI) erreicht, aber fehlausgerichtet wäre. AGI ist ein unscharf definiertes Konzept und meint im Kern eine künstliche Intelligenz, die menschliche Fähigkeiten über alle kognitiven Aufgaben und wirtschaftlichen Bereiche hinweg erreicht oder übertrifft. Eine fehlausgerichtete AGI könnte in eine technologische Singularität münden, in der sich die Technik der menschlichen Kontrolle entzieht und beginnt, sich selbst umzuprogrammieren.
Gegen die von Gates geforderte Umsicht arbeiten allerdings die Marktkräfte. Wer die leistungsfähigste KI baut, dürfte auch der mächtigste und reichste KI-Entwickler werden. Die Entwicklung schreitet in phänomenalem Tempo voran, und niemand weiß wirklich, wohin sie führt.
Wie weit die Einschätzungen auseinandergehen, zeigt eine Debatte auf LinkedIn. Stephen Cobb, ehemals Senior Security Researcher bei ESET und heute unabhängiger Forscher, hielt der These, KI könne uns alle umbringen, entgegen: „Nicht, sofern wir es nicht zulassen oder ermöglichen.“ Dan Tynan konterte mit einem Vergleich: Auch Zigaretten töteten niemanden von selbst, man müsse sie sich in den Mund stecken und anzünden. Die Hersteller aber hätten die Gefahren jahrzehntelang gekannt und verschwiegen – im Wissen, dass ihr Produkt so süchtig machend und so allgegenwärtig sei, dass es den normalen Selbsterhaltungstrieb der Menschen überwinde. Cobb vertraut auf den gesunden Menschenverstand, Tynan auf die Logik des Marktes.
Ein Hoffnungszeichen kommt ausgerechnet aus der Industrie. Bloomberg berichtete am 11. September 2026, OpenAI habe Teile der Modellentwicklung verlangsamt und bestimmte interne KI-Trainings aus Sicherheitsgründen pausiert. Im Juli hatte OpenAI-Chef Sam Altman zudem erklärt, er habe mit Vertretern des Weißen Hauses über die Notwendigkeit gesprochen, das Tempo der KI-Entwicklung zu steuern. In einer am Samstag, dem 12. September, ausgestrahlten Folge sprach Altman mit Alyson Shontell, Chefredakteurin von Fortune, über den Balanceakt bei KI.
Bleibt der zweite, leisere Befund aus dem Gates-Memo. Eine vorläufige Erhebung, schreibt Gates, lege nahe, dass stärkere KI-Nutzung mit weniger kritischem Denken einhergehe – und der Effekt bei jüngeren Menschen stärker ausfalle. Selbst wenn es also gelingt, KI-Modelle ausschließlich auf nützliche Zwecke auszurichten, wäre eine Folge wohl der Verfall der menschlichen Fähigkeit, selbst zu denken. Man kann argumentieren, dass genau diese Fähigkeit zur Vernunft den Menschen von den übrigen Tieren unterscheidet. Die Vernichtung der Spezies mag abwendbar sein – die Frage ist, ob sich auch die Erosion dessen verhindern lässt, was den Menschen zum Menschen macht.