Besonders häufig stießen die Forscher auf Chatbots, die Nutzergespräche offenlegten. Ein auf OpenUI basierendes Beispiel gab den vollständigen Gesprächsverlauf eines Nutzers mit dem LLM preis – in Unternehmensumgebungen können solche Verläufe erhebliche Einblicke bieten.
Schwerer wiegen nach Darstellung von Intruder generische Chatbots, die eine breite Palette an Modellen frei zugänglich machten, darunter auch multimodale LLMs. Angreifer können die meisten Modelle per Jailbreak von ihren Schutzmechanismen befreien und etwa illegale Bilder erzeugen oder sich Ratschläge für Straftaten geben lassen – ohne Konsequenzen zu fürchten, da sie fremde Infrastruktur nutzen. Das sei kein hypothetisches Szenario: Menschen finden Wege, Firmen-Chatbots zu missbrauchen, um auf leistungsfähigere Modelle zuzugreifen, ohne zu zahlen oder Anfragen im eigenen Konto zu protokollieren. Zudem fanden sich Chatbots, die große Mengen persönlicher NSFW-Konversationen offenlegten; die Software hinter den Claude-gestützten Bots gab überdies ihre API-Schlüssel im Klartext preis.
Auch Plattformen zur Verwaltung von Agenten waren betroffen, darunter n8n und Flowise. Instanzen, die ihre Betreiber offensichtlich für intern hielten, standen ohne Authentifizierung im Netz. In einem besonders gravierenden Fall legte eine Flowise-Instanz die gesamte Geschäftslogik eines LLM-Chatbot-Dienstes offen. Die hinterlegten Zugangsdaten zeigte Flowise zwar nicht im Klartext an, was den unmittelbaren Schaden begrenzt – doch ein Angreifer könnte die mit diesen Anmeldedaten verbundenen Werkzeuge nutzen, um sensible Informationen abzuziehen.
Genau darin liegt laut Intruder die besondere Gefahr: In KI-Werkzeugen fehlen oft saubere Zugriffskontrollen, sodass der Zugang zu einem in ein Drittsystem integrierten Bot häufig den Zugriff auf alles bedeutet, womit dieser verbunden ist. In einem Fall waren Werkzeuge zum Auslesen von Internetinhalten sowie potenziell gefährliche lokale Funktionen wie Dateischreibzugriffe und Code-Interpretation exponiert – serverseitige Codeausführung wurde damit zu einer realistischen Möglichkeit. Insgesamt identifizierten die Forscher über 90 exponierte Instanzen in Bereichen wie Verwaltung, Marketing und Finanzwesen, bei denen Chatbots, Arbeitsabläufe, Prompts und Außenzugriffe offen lagen.
Eine der überraschendsten Erkenntnisse war die hohe Zahl ohne Authentifizierung erreichbarer Ollama-APIs mit angebundenem Modell. Das Team sendete an jeden Server mit gelistetem Modell einen einzelnen Prompt („Hello"), um zu prüfen, ob eine Authentifizierung verlangt würde. Von über 5.200 abgefragten Servern antworteten 31 Prozent. Die Antworten erlaubten Rückschlüsse auf den Einsatzzweck – einer meldete sich etwa als „KI-Assistent, integriert in unsere Cloud-Management-Systeme", der bei Betriebsaufgaben, Infrastruktur-Bereitstellung und Service-Anfragen helfe.
Ollama speichert Nachrichten nicht direkt, ein unmittelbares Risiko offengelegter Gesprächsdaten besteht also nicht. Viele dieser Instanzen umhüllten jedoch kostenpflichtige Spitzenmodelle von Anthropic, Deepseek, Moonshot, Google und OpenAI; von allen erfassten Modellen griffen 518 auf solche bekannten Frontier-Modelle zu. Bei der genaueren Analyse einer Teilmenge in einer Laborumgebung fanden sich wiederkehrende unsichere Muster. Verschärft werden diese Fehlkonfigurationen, wenn Agenten Zugriff auf Werkzeuge wie Code-Interpretation haben: Bei schwachem Sandboxing und einer Infrastruktur außerhalb einer DMZ wächst der mögliche Schadensradius deutlich.