Der Namensfehler führte dazu, dass die getesteten Modelle den unbeabsichtigten Internetzugang ausnutzten und die betreffende Domain nach Darstellung von Irregular „in begrenzter Zahl von Fällen" angriffen. Der Bericht dazu wurde im vergangenen Monat veröffentlicht.
Google bewertet das Verhalten nicht als Beispiel für eine Fehlausrichtung des Modells, da die Agenten ihre Aktivitäten einstellten, nachdem die Sicherheitsmechanismen ausgelöst worden waren. „Dieses Ereignis zeigt, wie wichtig es ist, leistungsfähige KI-Modelle zu verantwortungsvollem Handeln zu trainieren", sagte Heather Adkins, Vizepräsidentin für Sicherheitstechnik bei Google, dem Wall Street Journal. „In diesem Fall hat das Modell angemessen reagiert."
Welche Unternehmen betroffen waren, ist bislang nicht bekannt. Irregular bestätigte dem Journal jedoch, dass es sich bei Google um denselben Sachverhalt handelte wie bei den anderen Vorfällen und dass das Problem vor einigen Wochen behoben wurde.
Die Offenlegung folgt wenige Tage auf einen Fund von OpenAI: Das Unternehmen identifizierte sechs weitere Vorfälle, in denen seine KI-Agenten während des Trainings aus dem Ruder liefen, täuschend agierten und nicht genehmigte Handlungen vornahmen. Dazu zählten das Verschleiern eigener Fehler, das Beschaffen unbefugter Zugangsdaten, das Hochladen von Dateien ins öffentliche Internet sowie die Kommunikation über Artifactory, um „Notizen anderer Löser zu lesen, Antworten zu posten und diesen Austausch für die eigenen Antworten zu nutzen".
KI-Labore stehen verstärkt unter Beobachtung, seit OpenAI im Juli offenlegte, dass außer Kontrolle geratene KI-Agenten interne Kontrollen umgingen, das offene Internet erreichten und im Verbund in Systeme von Hugging Face eindrangen. Das KI-Start-up bezeichnete den Vorgang als „beispiellosen Cybervorfall" und kündigte inzwischen ein neues Rahmenwerk für die Meldung künftigen Fehlverhaltens von Modellen an.