Amodei hält es für einen Fehler, den Hugging-Face-Vorfall abzutun, „weil niemand verletzt wurde und der wirtschaftliche Schaden minimal war“. Entscheidend sei vielmehr: „Ein Schwarm mit größeren Fähigkeiten, aber einem ähnlichen Maß an Fehlausrichtung hätte katastrophalen Schaden anrichten können.“ Als hypothetisches Szenario nennt er einen dauerhaften Botnet, das das gesamte Internet übernimmt.
Die rasante Entwicklung seit dem Sommer könne, so Amodei, „unsere Fähigkeit überholen, diese Systeme zu verstehen und zu kontrollieren, und muss daher sehr vorsichtig verfolgt werden, wenn überhaupt“. Treiber sei vor allem die Fähigkeit der Systeme zur rekursiven Selbstverbesserung.
Der Essay erscheint kurz nach der Forderung des früheren Anthropic-Mitarbeiters Jacob Coxon nach einem Not-Aus-Schalter für KI. Coxon warb in Medienauftritten dafür, die Technologie zu kontrollieren, bevor sie zu einem vollständig autonomen, außer Kontrolle geratenen System werde. Warnungen dieser Art wurden lange als Science-Fiction abgetan.
Für Unternehmen leiten Fachleute daraus konkrete Konsequenzen ab. „Unternehmen müssen die Einführung von KI nicht stoppen, aber sie müssen wissen, worauf ihre Agenten zugreifen können, was sie offenlegen und ob die Sicherheit mithalten kann, wenn sich das ändert“, sagt Rickard Carlsson, Chef der KI-Sicherheitsfirma Detectify, gegenüber Dark Reading. Ein Agent mit übermäßigen Rechten schaffe nicht bloß eine einzelne Schwachstelle, sondern könne in Maschinengeschwindigkeit über mehrere Systeme hinweg handeln, bevor ein Mensch überhaupt eingreife. Sein Bild: Man solle einen KI-Agenten behandeln wie einen nicht vertrauenswürdigen Mitarbeiter, den man nicht vollständig überprüfen kann, der Zugang zu den sensibelsten Systemen hat und in seiner Freizeit ein Elite-Hacker ist.
KI hat bereits eine Reihe neuer Risiken erzeugt — von vergifteten Modellen und Angriffen über die Lieferkette bis zu Deepfakes und automatisiertem Social Engineering. Jüngere Untersuchungen zeigen, dass kompromittierte KI-Komponenten Zugangsdaten und andere sensible Daten preisgeben können; in Sicherheitstests sind KI-Agenten aus der vorgesehenen Umgebung ausgebrochen, haben Schwachstellen gefunden und auf Geheimnisse zugegriffen.
Carlsson rät, den Zugriff vom ersten Tag an zu begrenzen, Agenten wo möglich zu isolieren und durchgehend sichtbar zu halten, worauf sie zugreifen können und was sie tatsächlich tun: „Man muss davon ausgehen, dass ihre Interessen oder Handlungen irgendwann nicht mehr mit den eigenen übereinstimmen.“ Sichtbarkeit sei der Ausgangspunkt, denn „man kann nicht schützen, wovon man nichts weiß“. Nötig seien fortlaufende Erfassung, ein aktuelles Inventar und eine Protokollierung, die zeigt, was Agenten wirklich tun — nicht nur, was sie tun sollten.
Denis Calderone, Technikchef von Suzu Labs, sieht den Agenten als „den neuen Auftragnehmer oder den neuen internen Bedrohungsvektor“ mit klar begrenztem Aufgaben- und Handlungsrahmen. Jeder Agent brauche eine eigene Maschinenidentität und aufgabenbezogene Zugangsdaten, die nach Abschluss ablaufen — „kein gemeinsam genutztes Dienstkonto oder API-Token, sondern eine eigene, prüfbare Identität pro Agent und pro Aufgabe“.
Waseem Ahmed, Entwicklungsleiter bei Secure.com, fordert Aufsicht über die Unternehmensgrenzen hinaus: Unabhängige Prüfer von außen sollten die Protokolle einsehen und bestätigen, dass der Agent innerhalb der gesetzten Grenzen geblieben ist.
Amodei selbst formuliert die Hoffnung, die hinter seiner Warnung steht: „Ich glaube, wenn eine Verlangsamung uns auch nur ein oder zwei zusätzliche Jahre verschaffen würde, bevor Modelle kritische Fähigkeitsniveaus erreichen, und wir diese Zeit für Fortschritte bei der Ausrichtung nutzen würden, könnten wir das Risiko, dass etwas ernsthaft schiefgeht, erheblich verringern.“