Honea argumentiert, dass sich die maßgeblichen KI-Rahmenwerke inhaltlich stark überschneiden. Veröffentlichten Gegenüberstellungen zufolge gebe es erhebliche Übereinstimmungen zwischen ISO 42001, dem NIST AI RMF und dem EU AI Act. Wer sein Programm durchdacht aufbaue, könne alle drei mit einem einheitlichen Satz an Prozessen und Dokumentationen bedienen. Die eigentliche Schwäche entstehe erst im nächsten Schritt, wenn aus den Rahmenwerken umfangreiche Kataloge mit Freitextfragen werden.
Solche Fragebögen hätten aus seiner Sicht drei grundlegende Mängel. Erstens ließen sie sich oft nicht mit Belegen beantworten, sondern nur mit Prosa. Fragen wie die Beschreibung eines Ansatzes zur verantwortungsvollen KI trennten demnach kaum zwischen einem Anbieter mit belastbarem Programm und einem Anbieter mit guter Formulierungshilfe. Zweitens ignorierten sie die Natur der bewerteten Systeme. Große Sprachmodelle seien stochastische Systeme, deren Verhalten sich nur schwer reproduzieren und untersuchen lasse. Eine Bestätigung zu einem bestimmten Zeitpunkt verliere daher schnell an Wert, sobald sich Modellversion, System-Prompt oder Temperatureinstellung ändern. Drittens skalierten viele Fragebögen nicht mit dem Risiko: Honea beschreibt, dass derselbe Katalog mit 300 Fragen sowohl an Anbieter eines Marketing-Chatbots als auch an Anbieter klinischer Entscheidungshilfen gehe.
Als Gegenmodell schlägt der Autor fünf Prüfsteine für jede Frage in einer KI-Bewertung vor. Erstens müsse sie mit einem Artefakt beantwortbar sein, etwa mit Protokollen, Konfigurationen, Evaluierungsberichten, Datenflussdiagrammen oder Architekturdokumenten. Aus einer offenen Frage zur Modellsicherheit solle beispielsweise die Aufforderung werden, die protokollierten Inferenzparameter einer Produktivumgebung bereitzustellen, darunter Modellversion, Temperatureinstellung, Top P und Token-Limits.
Zweitens müsse jede Prüfung an eine Risikostufe gebunden sein. Erst werde das System klassifiziert, dann folgten die dazu passenden Fragen. Drittens sollten Fragen, wo immer möglich, messbar oder binär sein, etwa zu Evaluierungen, deren Taktung und der letzten Erfolgsquote bei Sicherheits-Benchmarks. Viertens müsse jede Frage entscheidungsrelevant sein: Wenn eine schlechte Antwort keine Entscheidung verändere, gehöre die Frage gestrichen. Fünftens sollten Kontrollen einmal definiert und dann mithilfe veröffentlichter Crosswalks für NIST, ISO und den EU AI Act wiederverwendet werden, statt für jedes Rahmenwerk eigene Dokumente zu erzeugen.
Für eine kompakte Anbieterprüfung nennt Honea exemplarische Kernfragen: Wo ist das Modell im Einsatz und wer ist der vorgelagerte Anbieter? Welche Daten fließen hinein und heraus, wo wird das protokolliert, wo werden Kopien gespeichert, wie lange und mit welchen Zugriffsrechten? Welche Inferenzparameter werden pro Anfrage geloggt und lässt sich ein Vorfall nachvollziehen? Welche Evaluierungssuite wird genutzt, was deckt sie ab und wie oft läuft sie gegen die Produktion? Wo gibt es menschliche Aufsicht, was darf das System ohne sie, wie sieht der Vorfallsprozess aus und wie werden Modellwechsel getestet und nachgelagerte Kunden informiert?
Einen Hebel zur Entschärfung vieler Rückfragen sieht Honea in einer standardisierten Model Card. Derzeit veröffentliche jeder Modellanbieter andere Angaben: unterschiedliche Evaluierungs-Benchmarks, Sicherheitsangaben, Detailtiefe zu Trainingsdaten und sogar unterschiedliche Begriffsdefinitionen. Genau diese Uneinheitlichkeit zwinge nachgelagerte Kunden zu individuellen Fragebögen. Sein Vorschlag ist eine Model Card mit festem Schema, darunter Modellversion und Abstammungslinie, Kategorien zur Herkunft der Trainingsdaten, Speicherort und Aufbewahrungsdauer von Daten, ein gemeinsamer Kern von Evaluierungs-Benchmarks mit veröffentlichten Ergebnissen, dokumentierte Sicherheitsmaßnahmen, Standard-Inferenzparameter und ein Änderungsprotokoll zu jedem Modellwechsel oder Versionsupdate.
Standardsgremien bewegten sich bereits in diese Richtung, schreibt Honea, und verweist auf Dokumentationsanforderungen in ISO 42001 sowie Transparenzpflichten im EU AI Act. Solange es aber kein gemeinsames Schema gebe, könnten Käufer Druck ausüben, indem sie stets dieselben Felder im selben Format anfordern. Seine Schlussfolgerung: Compliance sei ein Nachweisproblem, und bei KI seien Nachweise vor allem ein Problem der Beobachtbarkeit. Entscheidend seien daher Protokollierung, Evaluierungen und Dokumentation, die belastbare Antworten in Minuten mit Artefakten ermöglichen statt in Wochen per Textbaustein.