RAMPART ist als Pytest-natives Framework angelegt, mit dem sich Sicherheits- und Schutztests für KI-Agenten formulieren und ausführen lassen. Entwickler können Testfälle schreiben, die einen Agenten angreifen oder gezielt abklopfen, um mögliche Sicherheitsverletzungen aufzudecken. Dazu zählen laut Microsoft sogenannte Cross-Prompt-Injektionen, bei denen nicht vertrauenswürdige Daten ein KI-System indirekt über eine verarbeitete Quelle wie eine E-Mail, eine Datei oder eine Webseite erreichen. Ebenso lassen sich unbeabsichtigte Verhaltensänderungen und der Abfluss von Daten prüfen.
Das Werkzeug wertet die Ergebnisse dieser Tests aus und berichtet darüber. Notwendig ist dafür lediglich ein Adapter, der einen Agenten an die Testsuite anbindet. RAMPART baut auf PyRIT (Python Risk Identification Tool) auf, das Microsoft nach eigenen Angaben vor mehr als zwei Jahren als Mittel zum Testen von KI-Systemen veröffentlicht hatte.
Clarity verfolgt einen anderen Ansatz: Der Konzern bezeichnet es als „KI-Denkpartner, der Widerspruch leistet" und Entwickler durch Problemklärung, Lösungssuche, Fehleranalyse und Entscheidungsdokumentation führt. Ziel ist es, schon vor der ersten Codezeile das richtige Vorgehen zu finden und mögliche Probleme – etwa den Zugriff eines Agenten auf ein Werkzeug – früh zu adressieren, bevor das System gebaut wird.
„Wir wollten Produktmanagern und Ingenieuren eine Möglichkeit geben, ihre Annahmen am Anfang eines Projekts auf die Probe zu stellen, wenn ein Kurswechsel noch günstig ist und das richtige Gespräch Monate an Nacharbeit ersparen kann", sagte Ram Shankar Siva Kumar, Gründer von Microsofts AI Red Team, in einem Blogbeitrag, der The Hacker News vorlag.
Als zweites Motiv nennt Microsoft, Vorfälle reproduzierbar und Gegenmaßnahmen überprüfbar zu machen sowie die Erkenntnisse aus Red-Teaming-Übungen zu skalieren, indem sie in ausführbare Engineering-Artefakte überführt werden.
„Während PyRIT für die Black-Box-Erkennung durch Sicherheitsforscher nach dem Bau eines Systems optimiert ist, wurde RAMPART für Ingenieure entwickelt, während das System gebaut wird", ergänzte Siva Kumar. „Clarity hilft Teams, die Entwurfsabsicht zu klären und Annahmen festzuhalten." Zusammen verschöben diese Ansätze die KI-Sicherheit von einer einmaligen Prüfung hin zu einer Reihe lebendiger Artefakte, die Entwickler über den gesamten Lebenszyklus hinweg nutzen könnten.