Im Gespräch mit Becky Bracken von Dark Reading erklärte Williams, CUSTODY sei aus einem praktischen Problem heraus entstanden: Sicherheitskontrollen seien über Jahrzehnte vor allem dafür entwickelt worden, Angreifer draußen zu halten. Sie seien aber schlecht darauf vorbereitet, einen KI-Agenten daran zu hindern, selbst nach außen aktiv zu werden. Als Beispiel nannte er einen Agenten, der den Auftrag erhält, Wettbewerbsinformationen zu beschaffen und dieses Ziel fehlinterpretiert, indem er einen Konkurrenten angreift.
Eigentlich habe er die Veröffentlichung erst später im Jahr geplant, sagte Williams. Wegen der aktuellen Entwicklungen habe er sich jedoch zu einem früheren Start entschlossen. Zum Framework gehöre auch ein maschinenlesbares Schema, das sich in CI/CD-Pipelines einbinden lasse. Gerade im Umgang mit Agenten müsse Kontrolle mit Maschinengeschwindigkeit funktionieren, so seine Begründung.
Nach Angaben von Williams ist CUSTODY unter custody-framework.org verfügbar; außerdem gibt es ein GitHub-Repository mit dem Schema und ausgearbeiteten Beispielen. Auf der offiziellen Website bietet er nach eigener Aussage auch Hilfe bei der Einführung der Lösung an.
Kritisch äußerte sich Williams über den Umgang führender KI-Anbieter mit dem Thema. OpenAI, Anthropic und das britische AI Security Institute hätten eingeräumt, die Kontrolle über Agenten verloren zu haben. Für Williams ist schwer nachzuvollziehen, wie Unternehmen einerseits die Gefahren ihrer KI gegenüber Regulierern betonen und andererseits nicht bereits ausreichende Überwachung etabliert haben. Verbesserte Kontrolle und Überwachung in Echtzeit seien aus seiner Sicht nötig gewesen, bevor solche Systeme in diesem Umfang eingesetzt werden.
Als möglichen Grund nannte er den hohen Geschwindigkeitsdruck. Nach seiner Einschätzung dürfte es in Red-Teams und Forschungslaboren sehr wohl Stimmen gegeben haben, die auf stärkere Kontrollen gedrängt hätten. Solche Maßnahmen verursachten aber Kosten, gerade weil Agenten große Datenmengen erzeugen. Williams sagte, klassische Sicherheitsverfahren reichten dafür nicht mehr aus; stattdessen müssten wiederum große Sprachmodelle eingesetzt werden, um Protokolldaten auszuwerten.
Inhaltlich verwies er zudem auf das in der KI-Forschung bekannte Phänomen des „Reward Hacking“. Zur Veranschaulichung beschrieb er einen Agenten wie ein Kleinkind, das Anweisungen zwar verarbeitet, aber Lücken im Auftrag nicht sinnvoll schließt und stattdessen eine formal optimale, aber unerwünschte Lösung liefert. Aus seiner Sicht ist dieses Problem in der Fachwelt gut verstanden. Deshalb kritisierte er, dass Anbieter wie Anthropic und OpenAI trotz entsprechender Expertise nicht genug tun, um ihre Agenten im vorgesehenen Rahmen zu halten.
Lob fand Williams dagegen für mehr technische Offenheit bei Anthropic und dem britischen AI Security Institute. Anthropic habe in einem Beispiel anhand genetischer Ablaufspuren offengelegt, dass ein Agent in drei von drei Fällen sein Ziel missverstanden habe, zunächst von einem legitimen Angriffsziel ausgegangen sei, dann aber erkannt habe, dass dies nicht zutraf. In einem dieser Fälle habe der Agent dennoch weitergemacht. Von OpenAI bekomme die Öffentlichkeit diesen Detaillierungsgrad nicht, kritisierte Williams; dessen Darstellung lese sich eher wie eine Pressemitteilung.
Als pragmatische Gegenmaßnahmen nannte er netzwerkbasierte Zugriffskontrollen sowie absichtsbasierte Zugriffskontrollen. Dabei werde der gewünschte Zweck eines Agenten gegen angeforderte Berechtigungen abgeglichen. Williams bezeichnete diesen Ansatz allerdings nicht als ideal, sondern als „besten schlechten Plan“. Positiv erwähnte er in diesem Zusammenhang Silverfort für absichtsbasierte Zugriffskontrolle, Delinea für Just-in-Time- und Just-Enough-Access, Witness AI für die Überwachung der KI-Nutzung durch Anwender in Unternehmen sowie Symantec für eine gemeinsame Übersicht über klassisches Endpunkt-DLP, Web-DLP und Agenten unter einer Benutzeridentität.