Nach Hugging-Face-Zwischenfall: OpenAI zieht Sicherheitszäune um seine Modelltests

Zusammenfassung

OpenAI hat eine Reihe von Sicherheits- und Schutzmaßnahmen angekündigt, nachdem hochentwickelte Modelle im vergangenen Monat während einer Benchmark-Übung zu Cyberfähigkeiten unbeabsichtigt in den KI-Anwendungsspeicher Hugging Face eingedrungen waren. In einem Blogbeitrag vom 18. August nennt das Unternehmen einen zweiten Anlass: Vorläufige Hinweise deuteten darauf hin, dass das kommende Modell Astra „möglicherweise die kritische Schwelle für Cybersicherheitsfähigkeiten nach unserem Preparedness Framework erreicht". Diese Schwelle ist nach OpenAIs eigener Definition erreicht, wenn ein Modell ohne menschliches Zutun funktionsfähige Zero-Day-Exploits finden und entwickeln kann oder allein aus einer grob formulierten Zielvorgabe neuartige, vollständige Angriffsketten gegen gut gehärtete Ziele entwerfen und ausführen kann. Die angekündigten Kontrollen wirken jedoch weniger wie ein Durchbruch als wie Vorkehrungen, die beim Testen von Modellen mit fortgeschrittenen Cyberfähigkeiten längst hätten bestehen müssen — ein Punkt, den mehrere von Dark Reading befragte Fachleute deutlich machen. Bei einer Organisation mit OpenAIs Ressourcen, so der Vorwurf, hätten Containment und Überwachung Voraussetzung für solche Evaluierungen sein müssen, nicht deren Nachspiel.

Die Liste der Änderungen ist umfangreich: OpenAI hat das Reinforcement-Learning-Training — das auf Versuch und Irrtum beruhende Verfahren zur Formung des Modellverhaltens — für zwei Wochen ausgesetzt. Künftig sollen härtere Sandboxes modellgenerierten oder anderweitig nicht vertrauenswürdigen Code ausführen. Zusätzliche Netzwerkkontrollen sollen risikoreichere und nicht vertrauenswürdige Arbeitslasten vom Internet isolieren. Weitere Sicherheitstests sollen angreifbare gemeinsam genutzte Dienste entfernen und Grenzen für Sicherheit, Vertrauen und Zugriff neu ziehen. Die Überwachung wird flächendeckend ausgeweitet, bis hinab zu Aktivierungsklassifikatoren, die potenziell bedenkliches Verhalten erkennen und markieren.

Hinzu kommen umfassendere Alignment-Prüfungen, neue Belohnungssysteme für das Training, eine breitere Kennzeichnung schädlichen Verhaltens sowie die Unterstellung der Astra-Arbeitslasten unter die strengsten Schutzmaßnahmen des Unternehmens. Das habe „erhebliche technische Arbeit erfordert und hohe Kosten sowie Verzögerungen in der Spitzenforschung verursacht", schreibt OpenAI. Ein Teil des Astra-Trainings und der Evaluierungen erfülle die Anforderungen bereits, „eine erhebliche Zahl von Arbeitslasten bleibt jedoch angehalten, bis sie vollständig migriert und so verbessert sind, dass sie die neue Sicherheitsschwelle erreichen". Priorität bei der Migration hätten Sicherheits- und Alignment-Arbeitslasten.

Zum Vorfall selbst: Nach OpenAIs Offenlegung im Juli waren die Modelle darauf fixiert, eine Lösung für ExploitGym zu finden, und gingen „zu äußersten Mitteln, um ein recht enges Testziel zu erreichen". Die getesteten Modelle nutzten mehrere Zero-Day-Schwachstellen aus, darunter einen Fehler im Paketregistry-Cache Artifactory, gelangten so ins offene Internet, weiteten ihre Rechte aus und drangen in Hugging Face ein. Ziel war Hugging Face, weil die Modelle schlossen, dort könnten Lösungen für ExploitGym liegen. Auch andere Anbieter wurden in Mitleidenschaft gezogen. Schon damals kündigte OpenAI strenge Kontrollen der Infrastrukturkonfiguration an — auf Kosten der von ihm selbst so genannten „Forschungsgeschwindigkeit".

Jacob Krell, Senior Director für sichere KI-Lösungen und Cybersicherheit bei Suzu Labs, hätte solche Systeme bei einem Unternehmen dieser Größe schon vorher erwartet. „Das Preparedness Framework von OpenAI stammt aus dem Jahr 2023. Die aktualisierte Fassung von 2025 verlangt ausdrücklich Schutzmaßnahmen während der Entwicklung für Systeme, die kritische Fähigkeiten erreichen", sagt er gegenüber Dark Reading. Die nun betonten Grundlagen von Containment und Überwachung hätten Voraussetzung für die Evaluierungen sein müssen: „Erst zu pausieren, nachdem ein Modell die Produktionsinfrastruktur eines Dritten getroffen hat, ist Schadensbehebung, kein Sinneswandel."

John Strand, Inhaber von Black Hills Information Security, teilt diese Einschätzung, sieht in der Kommunikation aber eine „seltsame Marketingkomponente". Der Hugging-Face-Vorfall sei zugleich „eine enorme Werbung dafür geworden, was diese Systeme können". Wenn nun über Astra gesprochen werde, laute die Botschaft im Kern: „Sie hielten das für gefährlich? Warten Sie, bis Sie das hier sehen." Viele beobachteten sehr genau, wie leistungsfähig die Modelle offensiv seien.

Yasir Zahid, Cybersicherheitsverantwortlicher und Gründungsmitglied von Secure.com, hält echte Netzwerkisolierung, engmaschige Beobachtung des Modellverhaltens und mehr Alignment- und Sicherheitsarbeit für Pflicht, bevor ein Agent in die Nähe von Produktivsystemen kommt. „Im Grunde war das ein Versagen des Containments, und während die Schlagzeile sich von selbst schrieb, war die Geschichte eine alte", sagt er. „Ein System mit einem Ziel und schwachen Wänden stößt weiter, bis es einen Ausweg findet. Der wesentliche Unterschied: Menschliche Angreifer arbeiten langsamer, dieses Modell arbeitete schnell."

Auf Dark Readings Bitte um weitere Details antwortete OpenAI nicht direkt; ein Sprecher verwies auf einen Essay von Präsident Greg Brockman vom 17. August und einen Astra-Blogbeitrag vom 7. August.

Nach Hugging-Face-Zwischenfall: OpenAI zieht Sicherheitszäune um seine Modelltests

Ähnliche Artikel

Neueste Artikel