Ежедневно на платформу Яндекс.Дзен заходит до 15 миллионов пользователей. Среди них есть роботы и недобросовестные пользователи: они занимаются накрутками, размещают спам или оскорбительный контент. Академия Яндекса поговорила о мошенничестве с Наташей Казаченко, которая работает в команде антифрода в Дзене. Наташа рассказала о том, как пользователи обходят ограничения для эротического контента при помощи классической живописи, как вычислить токсичные комментарии и какие качества и знания нужны, чтобы бороться с нарушителями.

Как устроено мошенничество в Дзене

Я придумываю и запускаю человеко-машинные методы для поиска мошенников и спама в Яндекс.Дзене. В нашем сервисе этим занимается команда из шести человек, я пришла первой два с половиной года назад. У меня математическое образование, и в университете я увлеклась машинным обучением, хотела даже поступать в ШАД, но оказалось, что там дублируются уже пройденные мной курсы.

В Яндексе всё начиналось с истребления спама, потом я занялась борьбой с накрутками и фильтрацией нежелательного контента, например, с призывами к самоубийству или с порнографией. Дзен — международный сервис, так что это приходилось делать сразу на нескольких языках, в том числе на таких редких, как вьетнамский или турецкий.

Мошенничество в Дзене обычно нацелено на то, чтобы максимизировать выплаты за показы статей. Каждый, у кого есть определённое количество читателей на платформе, может подключить себе рекламные блоки, а Дзен будет ему за это платить. Поэтому авторы накручивают показы с помощью специальных ботов.

Кроме того, авторы, медиа и пользователи могут недобросовестным способом перетягивать внимание на себя. К примеру, есть авторы и издания, которые публикуют кликбейт, который выделяется в ленте и приводит к большему числу переходов. А в комментариях возникают боты или токсичные пользователи. Токсичные пользователи не нарушают правила сервиса напрямую, но создают в нём некомфортную атмосферу. Они занимаются необоснованной критикой, разжигают ненависть и намеренно задевают разные социальные группы.

Токсичность комментариев определяется редакционной политикой. Дзен — это не только техническая платформа. У нас есть несколько редакторских команд, которые вырабатывают правила нашего сервиса.

Подружить модераторов и машинные методы

Несмотря на то, что мы используем множество разных методов машинного обучения, все они требуют и человеческого внимания: начиная с этапа сбора обучающего множества и заканчивая постоянным мониторингом качества фильтров и обновлением моделей.

Кроме того, есть классы нарушений, которые сложно распознать автоматически: например, фейковые новости или кликбейт. Современные методы машинного обучения пока просто на это неспособны. Эти задачи решаются при помощи модераторов, редакторов и пользователей Яндекс.Толоки.

Что касается накруток и мошеннической активности, то здесь нужно отличать роботов от людей уже не по контенту, а тонким поведенческим признакам. Но неподготовленному специалисту это сложно понять. Например, есть очень активные пользователи, которые проводят на сервисе почти весь день, совершая монотонные действия: листают ленту и кликают почти без остановки.

Ты думаешь, что живой человек не может десять часов без остановки листать ленту. Но нет, может.

Роботов от людей чаще всего отличает то, что в их действиях прослеживается явная мотивация: например, прочитать и пролайкать все посты у одного автора. Однако появляются подпольные компании, которые пишут роботов уже довольно изощренно, и тогда по одному мошенническому аккаунту не удаётся понять, что это накрутчик. А если посмотреть на большой массив данных, то может оказаться, что есть группы аккаунтов, которые ведут себя идентично, и специалист по антифроду понимает, что это мошенничество.

Что касается методов машинного обучения, то для того, чтобы выявить отклонения в поведении пользователей, используются СatBoost и кластеризация пользователей. А поскольку мы много работаем с текстами и решаем задачи классификации, то мы применяем различные методы NLP (обработки естественного языка): эмбеддинги слов и свёрточные нейронные сети.

Публикации обычно включают в себя не только текст, но и фотографии или видео, поэтому аналитикам приходится использовать ансамбли методов. Так, если говорить об откровенном контенте, то текст статьи часто может быть безобидным, но при этом содержать непристойные снимки, например, если речь идет о фотосессии какого-то актёра. А бывает наоборот: приличные изображения используются для иллюстрации эротического рассказа.

Что нужно для того, чтобы бороться с мошенниками

Для того, чтобы заниматься антифродом, нужно владеть методами машинного обучения и основами статистики. Все вычисления мы в основном выполняем при помощи Python, а данные размечаем в Толоке.

Мне кажется, основываясь на нашей работе, можно писать статьи по теории игр, потому что наш сервис используют несколько конкурирующих и заинтересованных сторон. Основная аудитория Дзена — это законопослушные авторы и медиа, но кроме них ещё есть накрутчики, боты и недобросовестные рекламщики. Черту между этими категориями нужно проводить максимально точно, чтобы не лишить доступа к сервису тех, кто ничего не нарушил.

К тому же недобросовестные пользователи быстрее подстраиваются под правила и их тяжело поймать. Ведь их цель не в том, чтобы публиковать качественный контент, а как раз в том, чтобы обойти систему.

Например, изначально в Дзене существовало правило, что на главной странице нельзя размещать порнографический контент. Но мы сделали исключение для предметов искусства: понятно, что в классической живописи часто изображается обнаженное тело и это не то, что требует цензуры. Это исключение породило авторов, у которых все каналы были посвящены эротике в искусстве и опошляли её: картины обрезались так, чтобы были видны только отдельные части тела. А в заголовках могло быть что-то вроде «Пикантная Мадонна держит у груди…».

Поэтому многие люди в нашей команде чувствуют себя как в сериале «Прослушка»: им нужно выследить и перехитрить целое множество недобросовестных пользователей и авторов. А для работы важны не только технические знания, но и творческий подход, изобретательность и азарт.