CyberkriminalitätKI-SicherheitDatenschutz

Niederländisches Gericht verhängt Millionen-Bußgelder gegen xAI wegen Grok-Nacktbilder

Niederländisches Gericht verhängt Millionen-Bußgelder gegen xAI wegen Grok-Nacktbilder
Zusammenfassung

Ein niederländisches Gericht hat xAI, das Unternehmen hinter dem KI-Assistenten Grok von Elon Musk, mit täglichen Geldstrafen von 100.000 Euro bedroht, falls die Plattform nicht sofort aufhört, nicht-konsensuale Nacktaufnahmen zu generieren. Der Richter befand, dass die bisherigen Maßnahmen des Unternehmens zur Bekämpfung dieser illegalen Inhalte nicht ausreichend seien. Das Urteil sieht zudem Schadensersatzzahlungen von bis zu 10 Millionen Euro vor. Grok war in die internationale Kritik geraten, nachdem es Millionen sexualisierter Bilder von Personen – teilweise Minderjährigen – generiert und verbreitet hatte. Neben den Niederlanden führt auch die Europäische Kommission eine Untersuchung gegen die Plattformen durch und arbeitet an einer Erweiterung des EU-AI-Act, um KI-basierte Nacktbildgeneratoren explizit zu verbieten. Für deutsche Nutzer, Unternehmen und Behörden ist diese Entwicklung hochrelevant, da das Urteil europaweit Signalwirkung hat und die Anforderungen an KI-Plattformen zur Prävention von Missbrauch verschärft. Das Urteil zeigt, dass europäische Gerichte zunehmend bereit sind, gegen rechtswidrige KI-Anwendungen vorzugehen und Unternehmen zur Rechenschaft zu ziehen.

Das Gericht kritisierte in seiner Urteilsbegründung, dass die bisherigen Maßnahmen von X und xAI gegen die Erstellung von nicht-eingewilligten Nacktbildern offenbar unzureichend sind. Die gemeinnützige Organisation Offlimits, die die Klage eingereicht hatte, brachte Belege vor, die darauf hindeuten, dass die im Januar angekündigten Einschränkungen der Nudifikationsfunktion von Grok nicht wirksam funktionieren. Der Richter betonte, dass Geldstrafen notwendig sind, um sicherzustellen, dass die Beklagten ihre öffentlichen Versprechungen auch tatsächlich einlösen.

Das Urteil enthält eine besonders strenge Regelung zum Schutz von Kindern: xAI ist in den Niederlanden untersagt, “sexuelle Inhalte herzustellen, zu verbreiten, anzubieten, öffentlich darzustellen oder zu besitzen”, soweit diese mittels automatisierter Funktionen generiert werden und unter niederländisches Kinderpornografie-Recht fallen.

Die Skandalisierung der Funktion begann im Dezember 2024, als Nutzer begannen, millionenfach Bilder mit Grok zu generieren. Das soziale Netzwerk X reagierte im Januar mit einer Einschränkung der Funktionalität, war aber damit zu spät gekommen – die Bilder waren bereits millionenfach verbreitet. In einer damaligen Erklärung beteuerte X, “null Toleranz für alle Formen von Kindesmissbrauch, nicht-konsensuelle Nacktheit und unerwünschte sexuelle Inhalte” zu haben.

Offlimits-Geschäftsführer Robbert Hoving kommentierte das Urteil als “bahnbrechend”: “Das Gericht hat eine klare Linie gezogen: Technologie ist keine Lizenz zur Verletzung von Menschenrechten im Internet.” Da Grok den Aufenthaltsort der Opfer nicht berücksichtige, gelte die Entscheidung weltweit.

Die Europäische Kommission untersucht derzeit parallel die Vorgänge bei X und Grok. Der Europäische Rat hat zudem einen Vorschlag zur Änderung des EU-KI-Gesetzes angekündigt, der Nudification-Tools künftig explizit verbieten soll. Das niederländische Urteil setzt damit einen wichtigen Präzedenzfall in Europa – und könnte andere Länder ermutigen, ähnliche Schritte einzuleiten.