Instagram с помощью искусственного интеллекта борется с интернет-травлей. В США приложением пользуется 70% подростков. При этом 42% жертв интернет-травли от 12 до 20 лет сообщили, что столкнулись с издевательствами именно в этой социальной сети. New York Times пишет, почему так трудно отделить издевательства от неудачной шутки и как в этом поможет искусственный интеллект.

…Instagram ежедневно посещают миллионы подростков. Вместе с компанией-учредителем Facebook соцсеть борется против «токсичного» поведения, шок-контента и фейков.

Новый проект соцсети направлен против кибербуллинга: она задействует в нем искусственный интеллект и модераторов, которые защитят маленьких пользователей от оскорблений.

Технологии против кибербуллинга

Целевая аудитория Instagram — подростки. По данным исследовательского центра Пью, им пользуется около 70% американских подростков. При этом, по данным опроса британской организации Ditch the Label, 42% жертв интернет-травли в возрасте от 12 до 20 лет сообщили, что подвергались издевательствам именно в этой социальной сети.

Вопрос интернет-травли Instagram поднимает не в первый раз. Бывший генеральный директор Кевин Систром заострил на этом внимание еще в 2016 году.

В 2018-м Instagram объявил, что оскорбления под фотографиями будет распознавать искусственный интеллект. В этом году компания начнет тестировать его новые возможности. Например, скрывать количество лайков у поста.

«Многие подростки используют Instagram, и мы видим, как в нем возникают новые явления. Мы должны действовать быстро, чтобы понять, насколько они вредны», — сообщила Беттина Фэйрман, директор по работе с сообществами в Instagram.

Эти усилия пока не принесли желаемого результата. Как и любые обещания Facebook, их стоит делить надвое. Но Instagram, видимо, более настойчив в своих попытках исправить ситуацию, чем его конкуренты — Twitter и Snapchat.

Это не то, что вы думаете

В конце прошлого года Instagram создал фокус-группы подростков и родителей, чтобы собрать информацию о нежелательном поведении и травле на платформе. Некоторые ответы оказались предсказуемыми: например, угрозы и оскорбления. Или рейтинги привлекательности пользователей по шкале от 1 до 10 — практика, которую Instagram уже успел запретить. Но другие способы буллинга оказались неожиданными.

Некоторые подростки чувствовали, что над ними издеваются, когда их бывшие возлюбленные демонстрировали фотографии своих новых девушек или парней. Чтобы причинить человеку боль, его просто отмечали на снимке, и он получал уведомление от Instagram.

Социальная сеть придумала название для этих издевательств — «предательства». Теперь она создает алгоритм для их распознавания.

— То, что мы понимаем под травлей, не всегда отражает реальную ситуацию. Люди могут и в других обстоятельствах чувствовать себя жертвами издевательств, — объяснила Карина Ньютон, глава отдела по общественной политике Instagram.

Не все виды нежелательного поведения нарушают правила Instagram. Компания еще не решила, где находится эта грань. На данный момент она пытается разобраться в многочисленных видах травли и учит машины распознавать их. После них модераторы будут решать, нарушит ли определенное поведение правила платформы.

Фото: Justin Sullivan/Getty Images

«Люблю тебя, стерва»

Facebook и Instagram уже используют искусственный интеллект для распознавания разных видов запрещенного контента — это фотографии с обнаженными людьми, а также материалы террористического характера. Но классификация видов травли — более сложная задача, поскольку они зависят от контекста социального взаимодействия.

Один из примеров привели родители во время опроса — фотография двух девочек-подростков в Instagram с надписью «Люблю тебя, стерва». Обычно социальная сеть выявляет оскорбительное слово и отправляет сообщение модератору. Но с учетом контекста ясно, что пользователь использовал «стерву» как ласковое прозвище, поэтому стоит оставить все как есть.

Еще один пример: пара подростков сфотографировалась на пляже. Снимок был опубликован в Instagram с надписью: «Жаль, что ты не с нами, Аманда!»

Обычно такой пост выглядит милым и безобидным. Но в некоторых ситуациях эта надпись примет неоднозначный и даже издевательский характер.

Возможно, над Амандой насмехаются из-за того, что она единственная выпускница, которую не пригласили на пляжную вечеринку по случаю окончания школы? Если это так, то их действия могут быть «преднамеренным доведением до синдрома FOMO».

FOMO (fear of missing out, англ.) — непреодолимое желание оставаться в курсе событий, вызванное постоянными обновлениями в социальной сети, а также потребность нравиться другим и навязчивый страх, что они живут лучше.

Может, Аманда — бывшая девушка парня на фотографии, и теперь он издевается над ней? Если это так, фотографию можно расценивать как «предательство». На заднем плане мог быть кит, отмеченный как Аманда. Тогда это фото — жестокая шутка о весе девушки, и пост можно считать оскорбительным.

Миллионы на подростковой депрессии

Странно осознавать, что искусственный интеллект планетарного масштаба будет искать и исследовать разные обличия подростковой драмы. Но технически это реально и, к сожалению, необходимо. <…>

Искусственный интеллект эффективнее выявляет нежелательное поведение, чем сами пользователи. По словам руководителей Instagram, подростки часто не сообщают, что стали жертвой издевательств. Одни боятся мести со стороны своих преследователей, другие — что родители заберут их телефоны.

В Instagram надеются, что искусственный интеллект научится распознавать и удалять все виды кибербуллинга без мониторинга и дополнительной проверки со стороны модераторов. Но это случится не скоро. Еще дольше времени потребуется, чтобы эта технология вышла за пределы англоязычного мира.

«Наши алгоритмы на данный момент не сравнятся с людьми, когда дело доходит до понимания контекста и ситуации», – добавила Беттина Фэйрман.

По мнению критиков Instagram, компания заработала миллиарды долларов прибыли, внеся свой вклад в эпидемию подростковой депрессии и тревоги. А теперь пытается избавиться от травли в социальных сетях, которую сама же и спровоцировала.

«Где они были пять лет назад? Давно пора взяться за ум», — сказал Джим Штайер, исполнительный директор Common Sense Media, некоммерческой группы наблюдателей, которая продвигает безопасные технологии и средства массовой информации для детей.

В то же время борьба с травлей в Instagram может принести пользу обществу.

Никто не отрицает, что у социальной сети есть множество других серьезных проблем. Это призывы к отказу от вакцинации, агрессивные высказывания и многое другое.

Создать искусственный интеллект, чтобы он выявлял случаи травли, оказалось проще, чем переосмыслить бизнес-модель соцсети, построенную на рекламе. Или решить проблемы платформы, которая поощряет антисоциальное поведение.

Но лучше сделать мало и поздно, чем ничего и никогда. Искусственный интеллект, который уменьшит число оскорблений в Instagram — неплохая идея. Это защитит молодых людей от ошибок подросткового возраста XXI века. Все делается для их блага. Будем надеяться, что это сработает.

Источник: New York Times

Перевод Элеоноры Багриной

Материалы по теме
Лучшие материалы
Друзья, Правмир уже много лет вместе с вами. Вся наша команда живет общим делом и призванием - служение людям и возможность сделать мир вокруг добрее и милосерднее!
Такое важное и большое дело можно делать только вместе. Поэтому «Правмир» просит вас о поддержке. Например, 50 рублей в месяц это много или мало? Чашка кофе? Это не так много для семейного бюджета, но это значительная сумма для Правмира.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: