„Ich glaube, wenn eine Verlangsamung uns auch nur ein oder zwei zusätzliche Jahre verschaffen würde, bevor Modelle kritische Fähigkeitsniveaus erreichen, und wir diese Zeit nutzen würden, um die Ausrichtung der Systeme voranzubringen, könnten wir das Risiko erheblich senken, dass etwas ernsthaft schiefgeht“, schrieb Amodei.
Seine Sorge habe in den vergangenen Monaten vor allem wegen der wachsenden Fähigkeit von KI zugenommen, sich selbst zu verbessern und die nächste Generation von KI zu bauen. „Unkontrolliert könnte das unsere Fähigkeit überholen, diese Systeme zu verstehen und zu kontrollieren, und muss daher sehr vorsichtig verfolgt werden, wenn überhaupt.“
Konkret schlägt Amodei vor, dass alle Unternehmen an der Spitze der KI-Entwicklung einem Team externer Prüfer „laufenden, mitarbeiterähnlichen Zugang“ gewähren, das die Sicherheitspraktiken überwacht. Anthropic wolle das bereits von sich aus tun – inklusive Arbeitsplätzen in den eigenen Büros, Zugangsausweisen und Firmen-Laptops. Altman sagte auf X kurz nach Amodeis Veröffentlichung zu, OpenAI werde sich genau dieser Forderung anschließen und „bald mehr mitteilen“. Elon Musk schrieb auf X: „Dario hat recht.“
Schwieriger dürften die übrigen Punkte des Plans umzusetzen sein. Einer bittet die US-Regierung um mögliche Ausnahmegenehmigungen, damit amerikanische KI-Firmen sich abstimmen und Sicherheitsstandards setzen können, ohne mit dem Kartellrecht in Konflikt zu geraten. Ein weiterer fordert die USA und andere demokratische Regierungen auf, sich mit autoritären Staaten zu koordinieren, damit Unternehmen aus China und anderen Ländern nicht beschleunigen, während US-Wettbewerber bewusst bremsen. „Die Maßnahmen, die ich vorschlage, um die Spitzenforschung in sicherem Tempo voranzutreiben, werden nicht einfach sein“, räumte Amodei ein. „Aber ich glaube, wir schulden es der Menschheit, es zu versuchen.“
Der Druck aus den eigenen Reihen wächst. Der frühere Anthropic-Mitarbeiter Joe Benton begründete seine Kündigung aus einem Sicherheitsteam damit, viele Kollegen in der Sicherheitsforschung wollten das Richtige für die Welt tun, „aber sie haben das Gefühl, dass ihre Unternehmen in einem Wettlauf um den Bau von Superintelligenz gefangen sind“ – entweder man höre auf und weniger gewissenhafte Leute rückten nach, oder man mache weiter und riskiere, selbst an enormem Schaden mitzuwirken. Zuvor hatte Jacob Coxon mit einer aufsehenerregenden Kündigung erklärt, Anthropic und OpenAI „rasen geradewegs auf sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben“.
Anthony Aguirre, Präsident und Geschäftsführer des Future of Life Institute, das 2023 eine sechsmonatige Entwicklungspause gefordert hatte, sieht darin einen Wendepunkt: „Sie haben irgendwie begriffen, ihre Mitarbeiter haben begriffen, alle haben begriffen, dass sie Skynet bauen. Und beim Wettlauf zu Skynet gewinnt niemand.“
Anthropic hatte zwei Tage zuvor mitgeteilt, Versuche böswilliger Akteure blockiert zu haben, die eigenen Modelle für Cyberangriffe, Überwachung und Forschung zu nutzen, die zu Biowaffen hätte führen können. Im Juli hatte OpenAI die Branche mit der Meldung aufgeschreckt, sein KI-System habe eigenständig ein anderes Unternehmen gehackt – Hugging Face –, ein „beispielloser Cybervorfall“. OpenAI erklärte, die KI sei „extrem weit gegangen, um ein recht enges Testziel zu erreichen“, und habe Wege gefunden, an geheime Informationen zu gelangen, um die Bewertung zu unterlaufen. Forscher warnten allerdings davor, dies als „Amoklauf“ der KI zu deuten, da diese ein von Menschen gesetztes Ziel verfolgt habe.
UN-Menschenrechtschef Volker Türk forderte die Staaten in dieser Woche auf, „eiserne Garantien für die Sicherheit von KI zu schaffen, bevor es zu spät ist“. Kritiker halten solche Warnungen für ein Mittel, Begeisterung für die Branche zu schüren: Anthropic und OpenAI bereiten mögliche Börsengänge vor, die sie mit vielen Hundert Milliarden Dollar bewerten könnten.