Das Grundproblem beschreibt CTF.ae nüchtern: Ein Agent, der behauptet, eine Zugriffskontrolllücke ausgenutzt zu haben, kann sie ausgenutzt, nur gestreift oder schlicht erfunden haben – der Bericht liest sich in allen drei Fällen gleich. Hinzu kommt, dass ein Fundbericht nur aufzählt, was gefunden wurde. Über die vierzig nie geöffneten Funktionen, die nie aufgezählte API oder den zweiten Fehler im selben Endpunkt schweigt er. Und ein Agent, der auf dem Weg zu einem Fund eine Tabelle löscht oder sämtliche API-Schlüssel widerruft, taucht in keiner Fundliste auf.
Die Plattform besteht aus zwei Hälften. Die erste ist eine Bibliothek von Benchmark-Zielen: keine Puzzle-Aufgaben, sondern vollständige Anwendungen mit mehreren Diensten, eigener Geschäftslogik, vorbefüllten Daten, Hintergrundjobs und simuliertem Nutzerverkehr, umgesetzt in mehreren Sprachen und Frameworks. Jedes Ziel enthält 20 oder mehr eingebaute Schwachstellen, von Einzelschritt-Fehlern bis zu Ketten über Dienstgrenzen hinweg, darunter Zero-Days aus der eigenen Forschung von CTF.ae. Nichts davon existiert in öffentlichen Trainingsdaten.
Die zweite Hälfte ist die Instrumentierung. Jeder Dienst sendet strukturierte Telemetrie über OpenTelemetry; die Instrumentierung wird von Anwendungssicherheits- und Softwareingenieuren von Hand für das jeweilige Ziel geschrieben, weil generisches HTTP-Logging das Wesentliche verpassen würde. Die Plattform unter ai.xranges.com wertet die Telemetrie pro Deployment aus und erzeugt vier Bewertungen, die sich aktualisieren, während der Agent noch arbeitet.
Coverage misst, ob der Agent das Ziel erkundet hat. Jede nutzerseitige Funktion ist ein Abdeckungspunkt, formuliert als Geschäftsvorgang statt als URL – Konto registriert, Stellenanzeigen durchgesehen, Code in einer Bewertung ausgeführt. Die Punkte sind nur über normale Nutzung erreichbar, nie über einen Exploit. Die nicht getroffenen Punkte sind die namentlich benannten blinden Flecken des Agenten; vielen Teams ist diese Liste nützlicher als der Zahlenwert.
Boundaries prüft die Einhaltung der Einsatzregeln. Jedes Ziel bringt Schutzregeln mit, etwa “darf keine Bewerbungsinhalte löschen” oder “darf keine API-Schlüssel widerrufen”. Verstöße werden mit Container und Zeitstempel im Moment ihres Auftretens festgehalten; erwartet werden null Verstöße. Exploited beantwortet, welche Schwachstellen tatsächlich ausgenutzt wurden: Jede ist als Kill Chain aus geordneten Phasen definiert, bis hin zu einem Signal, das nur bei Erfolg auslöst. Weil die Erkennung im Ziel selbst stattfindet, ist sichtbar, an welchem Schritt der Agent hängen blieb – eine dreistufige Kette, die bei Schritt zwei endete, erscheint als zwei von drei, mit Zeitstempeln. Integrity schließlich prüft im Minutentakt, ob die Anwendung noch funktionsfähig ist: Seed-Daten vorhanden, Dienste mit korrekten Inhalten, dienstübergreifendes Vertrauen intakt.
Ein Ziel wird in etwa 90 Sekunden als isolierte Multi-Container-Umgebung ausgerollt; bis zu tausend Deployments laufen parallel. Schwachstellen lassen sich im laufenden Betrieb abschalten oder patchen, teils zur Laufzeit, teils nach kurzem Neustart, sodass im selben Zustand nachgetestet werden kann. Jedes Deployment trägt Metadaten wie Modellname, Agentenversion, Prompt-Variante und ausführende Person; Gruppen zeigen Durchschnitts- und Bestwert sowie je Schwachstelle, welcher Lauf welche Kette abgeschlossen hat. Alles ist neben der Konsole per API und über einen Model-Context-Protocol-Server mit Bearer-Token zugänglich.
Erprobt wurde die Technik beim CTF der Bug Bounty Village auf der DEF CON 34 im August 2026. CTF.ae baute dafür das Ziel Xenoptic, ein fiktives KI-Unternehmen; jeder der 545 registrierten Spieler erhielt eine eigene isolierte Kopie, die über 48 Stunden beobachtet wurde. Hintergrund war die Fairness: Eingereichte Berichte sagen nichts darüber, wie ein Spieler zum Ziel kam – etwa über einen unbeabsichtigten Fehler oder einen mitgebrachten CVE samt Container-Ausbruch. Über mehr als 850 Deployments hinweg lieferte die Plattform dieselben vier Signale, stets aus dem Ziel heraus und nie vom Rechner des Spielers. XRanges for AI läuft als verwalteter Cloud-Dienst oder selbst gehostet in der eigenen Infrastruktur des Kunden.