Nach Darstellung von Anthropic haben mehrere der genannten Labore Gespräche zwischen ihren eigenen Modellen und deren Nutzern in Claude eingespeist. „DeepSeek, Xiaomi und Moonshot haben Unterhaltungen zwischen ihren eigenen Modellen und Nutzern in Claude eingegeben", erklärte das Unternehmen. Die Antworten von Claude seien anschließend als Trainingsdaten verwendet worden, um dessen Fähigkeiten zu destillieren. Ein Teil dieser Austausche habe sensible Informationen enthalten – von einzelnen Nutzern, von großen multinationalen Konzernen und von staatsnahen Akteuren.
Den Zugang zu den Modellen verschaffen sich die Labore laut Anthropic überwiegend, indem sie Anfragen über Proxy-Dienste leiten, auch Transfer- oder Relay-Stationen genannt. Diese legen Tausende neuer Konten unter erfundenen Identitäten an und nutzen dafür gefälschte oder gestohlene Kreditkarten sowie illegal abgegriffene API-Schlüssel, die legitimen Unternehmen oder Privatpersonen gehören.
Daneben kaufen unautorisierte Labore nach Angaben des Unternehmens Mitschriften von Nutzergesprächen mit US-amerikanischen Spitzenmodellen bei Drittanbietern ein. Dabei handelt es sich um die Betreiber jener Proxy-Dienste, die solche Unterhaltungen ohne Wissen und Einwilligung der Nutzer speichern. „In anderen Fällen leiteten unautorisierte Labore Anfragen ihrer eigenen Nutzer an Claude weiter – ohne deren Wissen oder Erlaubnis –, um den Austausch zwischen Nutzern und Claude für Trainingszwecke abzuschöpfen", so Anthropic.
Durch die Verbreitung solcher Proxy-Dienste sei ein Sekundärmarkt entstanden, auf dem Labore abgeschöpfte Claude-Konversationen kaufen oder auf anderem Weg erwerben könnten. Manche Proxy-Netzwerke verschafften Nutzern in nicht unterstützten Regionen Zugang zu Claude und speicherten die Unterhaltungen zugleich, um sie an andere Labore zu verkaufen.
Als Gegenmaßnahme sperrt Anthropic nach eigenen Angaben Wiederverkäufer-Konten sowie Konten aus nicht unterstützten Regionen wie China, Iran und Russland, wenn die Nutzer ihre Identität nicht verifizieren. Zusätzlich wurde das Modell so angepasst, dass es sein internes Schlussfolgern vor der Antwort zusammenfasst – gestohlene Mitschriften werden dadurch für nachgelagertes Training weniger brauchbar.
„Und mit Fable 5.1 haben wir das bewahrte Denken eingeführt, das neue API-Konten daran hindert, den System-Prompt, die Werkzeuge oder die Nachrichten zu verändern, die dem Schlussfolgern von Claude in mehrstufigen Unterhaltungen vorausgehen", teilte das Unternehmen mit. Dieses Schlussfolgern sei verschlüsselt, doch das Bearbeiten des vorangehenden Kontexts sei eine gängige Technik von Angreifern, um Claude zur Offenlegung zu bewegen.
Parallel dazu hat Anthropic mehrere Konten abgeschaltet, die die Modelle zur Überwachung der eigenen Bevölkerung sowie zur Krankheitsforschung mit möglichem Bezug zu biologischen Waffen einsetzen wollten. Anfang dieser Woche hatten US-amerikanische Cybersicherheits- und Nachrichtendienste chinesischen KI-Unternehmen vorgeworfen, proprietäre Funktionen und Fähigkeiten amerikanischer Spitzenmodelle durch Distillation-Angriffe „systematisch zu extrahieren".