Die Warnungen sollen nur dann ausgelöst werden, wenn die Suchen innerhalb eines kurzen Zeitraums gehäuft erfolgen. Erfasst werden dabei nicht nur einzelne Begriffe, sondern auch „Formulierungen, die Suizid oder Selbstverletzung befürworten", wie es in dem Blogbeitrag heißt, mit dem Meta das System ankündigte. Der Konzern arbeitet zudem nach eigenen Angaben an einer ähnlichen Funktion, die Eltern über Gespräche ihrer Jugendlichen mit künstlicher Intelligenz zum Thema Selbstverletzung informieren soll.
Die Benachrichtigungen werden über WhatsApp, E-Mail oder SMS verschickt. Tippen Eltern auf eine Warnung, erhalten sie Hinweise, wie sie mit ihrem Kind über Selbstverletzung und Suizid sprechen können.
Meta betonte bei der Vorstellung des Systems, dass die meisten Jugendlichen auf Instagram nicht nach Informationen zu Selbstverletzung suchten. „Die große Mehrheit der Jugendlichen versucht nicht, auf Instagram nach Inhalten zu Suizid und Selbstverletzung zu suchen, und wenn sie es tun, ist es unsere Richtlinie, diese Suchen zu blockieren und sie stattdessen an Ressourcen und Hilfetelefone zu verweisen, die Unterstützung bieten können", heißt es in dem Blogbeitrag.
Nach eigener Darstellung will Meta die Warnungen mit Bedacht versenden und nicht zu häufig auslösen, da zu viele Benachrichtigungen sie „insgesamt weniger nützlich" machen könnten. Die Festlegung, wann eine Warnung erfolgt, stützt sich laut Unternehmen auf eine Analyse des Suchverhaltens auf Instagram sowie auf Empfehlungen der konzerneigenen Beratungsgruppe zu Suizid und Selbstverletzung.
„Wir haben einen Schwellenwert gewählt, der einige Suchen innerhalb kurzer Zeit voraussetzt, dabei aber im Zweifel auf Vorsicht setzt", so der Blogbeitrag. Das bedeute, dass Eltern mitunter auch dann benachrichtigt würden, wenn womöglich kein tatsächlicher Anlass zur Sorge bestehe; man halte dies aber — in Übereinstimmung mit Fachleuten — für den richtigen Ausgangspunkt und wolle weiter auf Rückmeldungen achten.
Der Druck auf Meta hat zuletzt zugenommen, während Abgeordnete den Gesetzentwurf zum Kids Online Safety Act vorantreiben. Im kalifornischen Verfahren wurde Konzernchef Mark Zuckerberg am 18. Februar von den Anwälten der Kläger befragt, die ihm vorwarfen, Instagram absichtlich so gestaltet zu haben, dass es süchtig mache.