Алгоритми TikTok та Instagram підкидають хлопцям контент із насильством

Інсайдер індустрії розповів BBC, чому підлітки стають мішенню насильницького контенту.

Був 2022 рік, Цай, якому тоді було 16 років, гортав стрічку на своєму телефоні. Він каже, що одне з перших відео, які він побачив у своїх соціальних мережах, було з милим собакою. Але потім все змінилося.

Він каже, що "нізвідки" у нього почали зʼявлятися рекомендації відео, на яких когось збила машина, інфлюенсер поширював женоненависницькі погляди чи хтось жорстоко бився. Він запитав себе - чому я?

Ендрю Каунг працював аналітиком із безпеки користувачів у TikTok у Дубліні. Він обіймав цю посаду з грудня 2020 року по червень 2022 року.

Каунг з колегою вирішили перевірити, що алгоритми соцмережі пропонують користувачам у Великій Британії, зокрема 16-річним. Незадовго до цього Каунг працював у конкуруючій компанії Meta, яка володіє Інстаграмом - ще однією платформою, якою користується Цай.

Коли Ендрю переглянув контент TikTok, він стривожився. Він побачив, що деяким хлопцям показували дописи з насильством і порнографією та пропагандою женоненависницьких поглядів, розповідає він BBC Panorama.

За його словами, загалом дівчатам-підліткам рекомендували геть інший контент.

TikTok та інші компанії соціальних медіа використовують інструменти штучного інтелекту, щоб видаляти шкідливий контент або направляти його на перегляд модераторам. Але інструменти ШІ не можуть ідентифікувати все.

Ендрю Каунг каже, що за той час, коли він працював у TikTok, усі відео, які не видалили чи не відправили модераторам, повторно перевіряли вручну, тільки якщо вони досягали певного порогу переглядів.

Такий поріг міг бути 10 000 переглядів чи навіть більше. Каунг каже, що це означало, що деякі молоді користувачі можуть стикатися зі шкідливими відео. Більшість великих компаній соціальних мереж дозволяють реєструватися людям з 13 років.

TikTok каже, що 99% контенту, який він видаляє за порушення своїх правил, видаляється штучним інтелектом або модераторами-людьми до того, як він набере 10 000 переглядів.

Він також каже, що активно досліджує відео з меншою кількістю переглядів.

Ендрю Каунг каже, що коли він працював у Meta, була інша проблема. Більшість відео видаляли на підставі повідомлень користувачів, тобто коли вони вже побачили контент.

Він каже, що в обох компаніях нічого з цим не робили через побоювання обсягу роботи або вартості. За його словами, згодом у TikTok і Meta внесли деякі покращення, але молоді користувачі, такі як Цай, опинилися під загрозою.

Алгоритми всіх великих компаній соціальних медіа рекомендують дітям шкідливий контент ненавмисно, повідомляє BBC регуляторний орган Великої Британії Ofcom.

"Компанії заплющують на це очі й ставляться до дітей так само як до дорослих", - каже Альмудена Лара, директорка із розвитку політики онлайн-безпеки Ofcom.

Відео з домашнім насильством

У TikTok розповіли BBC, що мають "найкращі в галузі" налаштування безпеки для підлітків і над цим в компанії працюють понад 40 000 людей. Корпорація заявила, що лише цього року планує інвестувати "понад 2 мільярди доларів у безпеку", а 98% контенту, який вона видаляє за порушення своїх правил, виявляє завчасно.

Компанія Meta, яка володіє інстаграмом і фейсбуком, каже, що має понад 50 різних інструментів, ресурсів і функцій, щоб надати підліткам "позитивний досвід, який відповідає віку".

Цай розповів BBC, що за допомогою одного з інструментів у інстаграмі намагався повідомити, що його не цікавить насильницький чи женоненависницький контент, але, за словами хлопця, йому продовжували надходити такі рекомендації.

"У тебе в голові виникає картинка, і ти не можеш позбутися її. Це забруднює твій мозок. І ти думаєш про це решту дня", - каже він.

Він каже, що знайомим дівчатам його віку рекомендували відео на такі теми, як музика та макіяж, а не насильство.

Цай, якому зараз 18 років, каже, що йому досі просувають насильницький і женоненависницький контент як в інстаграмі, так і тіктоку.

Коли ми прокручуємо його інстаграм рілси (короткі відео), ми бачимо зображення домашнього насильства. На одному із фото - двоє людей, один з яких має синці, підпис під фото каже - "Моя мова кохання". На іншому зображенні видно людину, яку збила вантажівка.

Цай каже, що відео з мільйонами лайків можуть бути переконливими для молодих людей його віку.

Так, один з його друзів захопився впливовим блогером, який поширював женоненависницькі погляди.

Цай каже, що його друг "зайшов надто далеко", "він почав говорити щось про жінок. Схоже, його треба було повертати до реальності".

Як працюють алгоритми TikTok

За словами Ендрю Каунга, двигуном алгоритмів є залучення, тобто взаємодія користувачів із публікацією.

Перший крок - вказати вподобання та інтереси під час реєстрації. Ендрю каже, що частина контенту, який спочатку надають алгоритми, скажімо, 16-річному підлітку, ґрунтуються на вподобаннях його та інших користувачів того ж віку в тому ж місці.

У TikTok алгоритми не залежать від статі користувача. Але Ендрю каже, що інтереси, які підлітки позначають під час реєстрації, часто призводять до поділу за статевою ознакою.

Колишній співробітник TikTok каже, що деякі 16-річні хлопці можуть одразу стикнутися з насильницьким контентом, тому що інші підлітки з подібними вподобаннями виявили інтерес до такого типу матеріалів.

Ендрю Каунг каже, що алгоритми використовують "навчання з підкріпленням". Тобто системи штучного інтелекту навчаються методом проб і помилок та вчаться виявляти поведінку стосовно різних відео.

За його словами, алгоритм, який рекомендує контент для сторінки "Для вас" у TikTok, не завжди розрізняє шкідливі та нешкідливі матеріали.

"Вони бачать кількість глядачів, вік, тренди, такі дуже абстрактні дані. Вони не обов’язково розуміють дійсний зміст повідомлення", - каже колишній аналітик TikTok.

Ось чому в 2022 році він і його колега вирішили дослідити, які саме відео платформа рекомендує користувачам, зокрема 16-річним підліткам.

Він каже, що вони були стурбовані жорстоким і шкідливим контентом, який рекомендують деяким підліткам, і запропонували TikTok оновити свою систему модерації.

Вони хотіли, щоб TikTok чітко позначав відео, щоб кожен, хто там працює, міг зрозуміти, чому вони шкідливі (екстремальне насильство, зловживання, порнографія і так далі, та найняти більше модераторів, які спеціалізуються на цих сферах. Ендрю каже, що на той час компанія відхилила їхні пропозиції.

Компанії не зацікавлені

Ендрю Каунг каже, що зсередини TikTok і Meta було дуже важко внести зміни, які він вважав необхідними.

"Ми просимо приватну компанію, яка зацікавлена ​​у просуванні своєї продукції, накласти на себе обмеження. Це все одно, що просити тигра не їсти вас", - каже аналітик.

Він також вважає, що життя дітей і підлітків стало б кращим, якби вони взагалі припинили користуватися смартфонами.

Але для Цая заборона телефонів або соціальних мереж для підлітків не є варіантом. Його телефон є невіддільною частиною його життя - це дійсно важливий спосіб спілкуватися з друзями, орієнтуватися у місті, коли він у дорозі, чи платити за речі.

Натомість він хоче, щоб соціальні мережі більше прислухалися до того, чого підлітки не хочуть бачити та щоб вони розробили ефективніші інструменти контролю.

"Мені здається, що компанії соціальних медіа не поважають вашу думку, якщо це приносить їм гроші", - каже Цай.

У Великій Британії новий закон змусить компанії соцмереж перевіряти вік дітей і зупиняти сайти, які рекомендують порно або інший шкідливий контент молодим людям. За виконанням закону стежитиме британський медіарегулятор Ofcom.

Альмудена Лара, директорка з розробки політики онлайн-безпеки Ofcom, каже, що проблемі розповсюдження ненависті та насильства серед хлопчиків-підлітків приділяли менше уваги. Зазвичай компанії намагаються боротися зі шкідливими відео, які адресовані дівчатам-підліткам - як-от відео, які просувають розлади харчової поведінки та самоушкодження.

"Як правило, зі шкідливим контентом стикається меншість [дітей], але якщо це стається, уникнути його неможливо", – каже Лара.

Ofcom каже, що може штрафувати компанії та подавати на них до суду, якщо вони не зроблять достатньо, але ці заходи набудуть чинності не раніше 2025 року.

Автор: Маріанна Спрінг, BBC Panorama