RAMPART, die Abkürzung für „Risk Assessment and Measurement Platform for Agentic Red Teaming”, funktioniert als ein auf Pytest basierendes Sicherheits- und Testsystem speziell für KI-Agenten. Das Tool ermöglicht es Entwicklern, Testfälle zu schreiben, um KI-Systeme gezielt anzugreifen oder zu prüfen. Dadurch lassen sich mögliche Sicherheitsverletzungen aufdecken, etwa Cross-Prompt-Injektionen, bei denen nicht vertrauenswürdige Daten indirekt über Datenquellen wie E-Mails, Dateien oder Webseiten in ein KI-System gelangen. Das Tool testet auch auf unbeabsichtigte Verhaltensänderungen und mögliche Datenlecks.
RAMPART baut auf PyRIT auf — dem „Python Risk Identification Tool”, das Microsoft vor mehr als zwei Jahren veröffentlichte. Der entscheidende Vorteil von RAMPART liegt darin, dass es bereits während der Entwicklung einsetzbar ist und nur einen einfachen Adapter benötigt, um einen Agenten mit der Testsuite zu verbinden.
Das zweite Tool, Clarity, wird von Microsoft als strukturierter Sparringpartner beschrieben. Es unterstützt Entwickler und Produktmanager bereits in frühen Projektphasen — noch bevor eine Zeile Code geschrieben wird. Clarity führt Teams durch Problemklärung, Lösungserkundung, Fehleranalyse und Entscheidungsverfolgung und fungiert als kritischer KI-Denk-Partner.
Der Ansatz adressiert ein Kernproblem der Softwareentwicklung: Je früher Sicherheitsaspekte berücksichtigt werden, desto geringer sind die Kosten für Korrektionen. Ram Shankar Siva Kumar, Gründer von Microsofts AI Red Team, betont: “Wir wollten Produktmanagern und Ingenieuren einen Weg geben, ihre Annahmen am Anfang eines Projekts zu überprüfen, wenn Kursänderungen noch günstig sind.”
Microsoft verfolgt mit dieser Veröffentlichung ein zweites Ziel: Die Tools sollen Sicherheitsvorfälle reproduzierbar und Lösungen verifizierbar machen. Erkenntnisse aus Red-Teaming-Übungen werden so in ausführbare Engineering-Assets umgewandelt. Während PyRIT auf Black-Box-Tests nach der Fertigstellung ausgerichtet ist, optimiert RAMPART die Sicherheitsprüfung während des Entwicklungsprozesses. Zusammen verwandeln diese Tools KI-Sicherheit von einer einmaligen Überprüfung in lebende Artefakte, die Entwickler über den gesamten Lebenszyklus nutzen können.