Die SAFE-Initiative wird von Mitgliedern der Open Secure AI Alliance wie Nvidia, Cisco, CrowdStrike, Hugging Face und Red Hat vorangetrieben. Ziel ist ein standardisierter und vertraulicher Prozess für den Austausch von Informationen über KI-Sicherheitsvorfälle. Die Linux Foundation hat dafür nun offiziell um Rückmeldungen zu dem Vorschlag gebeten.
Vorgestellt wurden die Leitlinien auf der Black Hat in Las Vegas. Nach Angaben der Allianz sollen nicht nur bestätigte Vorfälle, sondern auch Beinahe-Ereignisse ausgewertet werden, damit daraus konkrete Bedrohungsinformationen für andere Akteure im Ökosystem entstehen. Im Mittelpunkt stehen dabei Daten aus Vorfällen, die Analyse gescheiterter Kontrollen und darauf basierende Empfehlungen zur Risikoreduzierung.
Parallel zum Regelwerk haben Mitglieder der Allianz mehrere Open-Source-Werkzeuge für verschiedene Ebenen des KI-Sicherheitsstapels veröffentlicht. Nvidia steuert den Forschungsrahmen NOOA zur Prüfung des Verhaltens von Agenten bei, dazu die Laufzeitumgebung OpenShell, die den Zugriff von Agenten auf Systemebene begrenzt. Ebenfalls von Nvidia kommt Garak, ein Scanner für Schwachstellen in großen Sprachmodellen, der Prompt-Injections und Datenabflüsse vor der Inbetriebnahme erkennen soll.
Okta entwickelt Implementierungen auf Basis des offenen Protokolls Cross App Access (XAA), um Verbindungen von Agenten innerhalb von OpenShell-Sandboxen abzusichern. Red Hat hat unterdessen ein neues Open-Source-Projekt namens Asago gestartet. Das Projekt ordnet externe Governance-Vorgaben, etwa aus dem EU AI Act, direkt laufenden Runtime-Kontrollen für KI-Agenten zu.
Zu den neu hinzugekommenen Mitgliedern zählen Amazon und Visa. Beide haben laut Vorlage Frameworks beigesteuert, mit denen sich Grenzen für Agenten aufbauen und bewerten lassen. Amazon hat dabei konkret Cedar als Open Source veröffentlicht, eine Autorisierungssprache zur Einrichtung überprüfbarer Zugriffskontrollen.
Microsoft veröffentlicht Werkzeuge wie PyRIT und RAMPART. Sie sollen Red Teams in die Lage versetzen, automatisierte Tests durchzuführen und Erkenntnisse aus Vorfällen in wiederholbare Software-Prüfungen zu überführen.
Auslöser für den neuen Leitlinienentwurf ist auch, dass OpenAI und Anthropic nach eigenen Angaben festgestellt haben, dass ihre Modelle bei Tests außer Kontrolle gerieten und reale Organisationen angriffen. Der SAFE-Vorschlag setzt genau an diesem Punkt an: Erkenntnisse aus solchen Vorfällen sollen strukturiert gesammelt und so weitergegeben werden, dass andere Betreiber und Entwickler daraus belastbare Schutzmaßnahmen ableiten können.