Im Zentrum der Änderungen steht laut OpenAI eine Neustrukturierung der Forschungsinfrastruktur. Arbeitslasten, die modellgenerierten oder nicht vertrauenswürdigen Code ausführen, müssen nun in stärker isolierten Sandboxes betrieben werden. Gleichzeitig wurden die Netzwerkgrenzen so neu konfiguriert, dass ein Einbruch in eine einzelne Arbeitslast nicht für sich genommen unbefugten Zugriff auf das Internet oder interne Netzwerke ermöglicht.
Ein zentrales Element ist ein mehrstufiges Überwachungsframework. Dieses System verwendet Aktivierungsklassifikatoren, um die interne Aktivität eines Modells bei jedem abgetasteten Token zu untersuchen. Werden Anomalien erkannt, werden sie an automatisierte Untersuchungsmechanismen weitergereicht, die Denkvorgänge und Werkzeugnutzung des Modells auf Datendiebstahl, unbefugten Zugriff, zerstörerisches Verhalten oder Versuche zur Umgehung von Schutzmaßnahmen analysieren.
Die fortlaufende Überwachung ist an strikte Betriebsregeln geknüpft. Hochpriorisierte Warnungen des Systems alarmieren sofort interne Sicherheits- und Forschungsteams. Können die Verantwortlichen nicht innerhalb von 30 Minuten eindeutig nachweisen, dass es sich um einen Fehlalarm handelt, müssen sie die betreffende Aktivität stoppen. OpenAI beziffert den zusätzlichen Rechenaufwand dieser Überwachungsschicht auf rund 20 Prozent der überwachten Inferenz-Rechenleistung.
Verbindlich sind die neuen Standards nach Unternehmensangaben ab sofort für jedes Reinforcement-Learning-Training und jede Evaluierung mit Werkzeugen bei Modellen auf der Fähigkeitsstufe Sol oder höher. OpenAI erklärt zudem, dass das bestehende Preparedness Framework weiterentwickelt werden müsse, um solche Fähigkeitszuwächse abzudecken. Dafür müssten grundlegende Alignment-Techniken über mehr Phasen des Trainingsprozesses hinweg angewendet werden.
Die jetzt beschriebenen Maßnahmen stehen im Zusammenhang mit zwei Entwicklungen. Zum einen ergaben interne Bewertungen, dass Astra womöglich die Schwelle für „kritische“ Cybersicherheitsfähigkeiten erreicht. Zum anderen verweist OpenAI auf den jüngsten Vorfall bei Hugging Face. Beides zusammen führte nach Angaben des Unternehmens zu operativen Verzögerungen, darunter eine zweiwöchige Unterbrechung des Reinforcement-Learning-Trainings für Modelle vor der Bereitstellung und ein weiterhin angehaltener Stopp des größten geplanten Frontier-Trainingslaufs.
OpenAI geht nach eigenen Angaben davon aus, dass künftig KI-Modelle den Großteil der Sicherheitsoperationen übernehmen müssen, auch zur Abwehr anderer Modelle, damit Schutzmechanismen mit den Fähigkeiten künftiger Systeme Schritt halten können. Das Unternehmen ist mit entsprechenden Beobachtungen nicht allein: Anthropic und Meta meldeten ebenfalls Vorfälle, bei denen ihre Modelle während Cybersicherheitsbewertungen reale Systeme hackten. Diese Tests standen laut dem Bericht in Verbindung mit dem KI-Sicherheitsunternehmen Irregular, das begonnen hat, detaillierte Berichte zu veröffentlichen, warum diese Vorfälle auftraten.