Что такое модерация сайта: Модератор сайта – кто это и как им стать? Сколько получают модераторы сайтов?

Модерация нужна для редактирования информации на сайте

Для стабильной работы сайту необходима модерация. Она подразумевает контроль информации, которая размещается пользователями. В работу входит регулярная чистка от спама и ограничение прав доступа посетителей, нарушающих правила.

Эти задачи выполняет модератор — человек, ответственный за функционирование ресурса и работу с пользователями. Это необходимо не только форумам, страницам и группам в соцсетях, но и ресурсам с возможностью оставлять комментарии (блогам, видео-сервисам и пр.).

Содержание

Способы контроля пользовательской активности

Различают несколько способов модерации для поддержания ресурса:

  • Премодерация. Это предварительный просмотр сообщений модератором перед публикацией. Такая фильтрация позволяет не допустить появления рекламы, спама и высказываний, оскорбляющих других посетителей.
  • Постмодерация — проверка информации после публикации. При такой модерации сообщения появляются мгновенно, задача сотрудника — своевременно удалять все, что загрязняет сайт.
  • Автоматическая модерация
    — контроль информации с помощью специальных фильтров и удаление сообщений в результате голосования пользователей. Такой способ является наиболее объективным.

Обязанности Модератора

Модератор получает право открывать новые темы на форуме, редактировать высказывания, отмечать важное. Сотрудник может сделать обсуждение прикрепленным, после чего оно демонстрируется на первом месте на странице. Еще одна задач — следить за соблюдением законодательства РФ.

Модератор должен удалять информацию, разжигающие национальную вражду, призывы к экстремизму и насилию. Задача специалиста — давать объективную оценку каждому сообщению и вести справедливую политику для защиты интересов пользователей.

Читайте также:

Loading...Loading…

Подписка на новости

Мы делимся полезными статьями о поисковом продвижении сайтов и интернет-маркетинге.

Подпишитесь сейчас и получайте уникальную информацию и скидки, недоступные читателям блога!

Спасибо за подписку!

Модерация и публикация — Технологии Яндекса

Перед тем как опубликовать навык, его необходимо отправить на модерацию.

Навыки, которые находятся на модерации, нельзя редактировать, но вы можете в любой момент вернуть навык в статус черновика: откройте страницу навыка в консоли разработчика и нажмите кнопку Вернуть в разработку.

Перед тем, как отправить навык на модерацию:

  1. Заполните все обязательные поля во вкладке Настройки. Инструкции по заполнению полей приведены в разделе Создание навыка. Обратите внимание:
    • Если вы являетесь производителем устройств, для которых создаете навык, укажите свои официальные контакты — ваше имя, email и сайт вашей компании. Это нужно для того, чтобы ваш навык мог быть установлен как официальный. Подробнее

      Если вы разрабатываете неофициальный навык, в контактах достаточно указать ваши имя и email для связи.

    • В поле Описание следует указать типы устройств, с которыми будет работать ваш навык (например, лампочки, розетки). Модераторы проверят работу навыка для каждого из указанных типов. Если вы разрабатываете официальный навык, то указанные устройства будут отображаться на Яндекс.Маркете с .
  2. Протестируйте работу навыка.
  3. Если вы хотите, чтобы устройства, с которыми работает ваш навык, были протестированы в Яндексе, пришлите их в . Учтите, что устройства должны удовлетворять определенным требованиям.

    К посылке добавьте комментарий «Устройства на модерацию навыка умного дома <название навыка> в группу поддержки Яндекс.Диалогов» и email, указанный в настройках навыка.

Если у вас нет возможности прислать устройство в офис Яндекса, команда Диалогов может проверить работу навыка по видеосвязи: отправьте навык на модерацию и дождитесь письма от сервиса.

Модерация навыка состоит из двух этапов:

  1. Проверка настроек навыка. Модераторы проверяют, что название навыка, его описание и иконка соответствует всем формальным требованиям. Этот этап занимает не больше 1 рабочего дня.
  2. Тестирование устройства в сочетании с навыком. Для тестирования нужно предоставить доступ к устройствам: либо прислать их в офис Яндекса как описано выше, либо согласовать дату удаленного тестирования по видеосвязи.

    Если вы хотите провести тестирование по видеосвязи, отправьте навык на модерацию и дождитесь письма от команды Яндекс.Диалогов на email, который указан в настройках навыка. Вам предложат выбрать дату тестирования (не позднее чем через две недели после заявки).

В процессе тестирования, которое занимает не больше 30 минут, модераторы проверят, что:
  • Связка аккаунтов работает корректно — устройства, которые были подключены в приложении провайдера, корректно отображаются в интерфейсе поискового приложения.

  • Все заявленные устройства работают корректно.

  • Устройства корректно изменяют свое состояние.

  • В работе навыка не возникает ошибок.

  • Навык отвечает на каждый запрос в течение 3 секунд.

Модераторы будут проверять работу навыка двумя способами — голосовым управлением через Алису и в интерфейсе поискового приложения. После непосредственно тестирования в течение 1 рабочего дня модераторы проанализируют его результаты и вынесут вердикт. Если в работе навыка выявлены ошибки, вам предложат исправить их, повторно протестировать навык и отправить его на модерацию.

В целом от подачи заявки до финального результата модерации проходит не больше 2 недель. Результат каждого этапа модерации будет отображен в консоли разработчика.

После того как ваш навык будет одобрен модераторами, вы сможете отправить его на публикацию кнопкой Опубликовать. Навык появится в каталоге через 5-10 минут.

Если после публикации навыка вы расширили список поддерживаемых устройств, навык следует повторно отправить на модерацию — для этого пришлите в нужные устройства или организуйте новое тестирование по видеосвязи.

Модераторы оставляют за собой право отозвать опубликованный навык. Это может произойти по следующим причинам:
  • Навык отвечает ошибкой в среднем на 1 запрос из 5.

  • Навык не отвечает в течение суток.

  • Получены жалобы со стороны пользователей.

Отозванный навык будет недоступен для новых пользователей — навык не будет отображаться в каталоге и пользователи не смогут его запускать. Пользователи, которые ранее уже запускали навык, смогут продолжать им пользоваться.

Чтобы повторно опубликовать навык:
  1. Исправьте ошибки, из-за которых навык был заблокирован.

  2. Напишите в службу поддержки.

Чтобы избежать блокировки навыка, следите за качеством его работы. Анализируйте статистику запросов к навыку, чтобы своевременно выявлять ошибки. Подробнее см. в разделе Мониторинг работы навыка.

Как и зачем модерировать пользовательский контент • sdelano.media

Модерация — универсальный инструмент: его активно используют как в онлайн (сообщения, сообщества, форумы, ленты новостей), так и в офлайн (пресс-конференции, круглые столы, встречи, переговоры) среде.

Для проектов web 2.0 модерация используется как один из основных инструментов управления и контроля над информацией. С ростом таких проектов возникла необходимость в грамотной модерации контента, что привело к созданию отдельного функционала «Модератор».

Единых правил и стандартов для модераторов не существует. Они либо отсутствуют, либо формируются и утверждаются в соответствии с целями и задачами ресурса.

Задача модератора отслеживать все обновления и проверять их достоверность и соответствие тематике и политике сайта. Как правило, в такой работе модераторы руководствуются общими моральными и юридическими нормами (информация не должна носить оскорбительный характер, должна быть проверенной и т.д.).

Правила модерации должны быть в открытом доступе, чтобы каждый пользователь мог их прочитать. В дальнейшем это поможет избежать конфликтов. Пользователь может ознакомиться с политикой сайта в отношении разного рода контента и решить насколько для него это приемлемо. Многие ресурсы публикуют свои правила модерации. Это своего рода соглашение между пользователем и руководством сайта.

Сформулируйте правила модерации
Найдите человека, который будет осуществлять модерацию Опубликуйте «Правила модерации» на сайте Создайте возможность обратной связи с модератором (указывайте либо электронную почту, либо создайте специальные поля-заявки) Модерация – процесс постоянный. Не делайте значительных временных перерывов Привлекайте к модерации пользователей Успех многих ресурсов во многом зависит от качества контента. Модерация не сможет улучшить его, но сделать его чище и качественнее – это вполне в силах модератора.

шесть ответов про модерацию рекламы — Новости рекламных технологий Яндекса

Поэтому прежде чем появиться в окошке браузера, все объявления, как и все пассажиры в аэропорту, проходят досмотр — модерацию.

На проверку поступают огромные массивы данных: тексты, ссылки, картинки, видео, HTML5-баннеры, логотипы, ссылки, дополнительные описания и многое другое. С каждым годом рекламных материалов становится всё больше, а в онлайн-пространстве растёт количество спама и тех, кто ищет новые пути обхода защиты. 

Наши правила модерации и требования к рекламе описаны максимально подробно и обновляются постоянно, но внешнему наблюдателю модерация иногда напоминает чёрный ящик. И немудрено: решение по каждому объявлению — можно его показывать или нет, нужны ли ограничения при показе и какие — принимает сложный комплекс алгоритмов, в который интегрированы человеческий и машинный интеллект.

Сегодня мы поговорим о том, как этот процесс устроен изнутри и постараемся ответить на самые частые вопросы о модерации.

Что в чёрном ящике

Модерация получает данные от разных сервисов Яндекса. Например, отдел безопасного поиска — Антиспам — проверяет ссылки из рекламных объявлений, сразу два сервиса проверяют тексты на опечатки.

Сначала входящие данные обрабатывает система автоматических фильтров. Сейчас их порядка пятидесяти — от простых, по ключевым словам, до моделей машинного обучения, в том числе, Матрикснет. Система алгоритмов плюс набор дополнительных эвристик позволяют определять спам с высокой степенью уверенности.

Когда объявление попадает в так называемую чёрную зону фильтра, это грозит отклонением. Если результат автоматической модерации неоднозначен, реклама отправляется на проверку к человеку. И здесь уже специалисты оценивают, соответствует ли реклама всем правилам и требованиям к показу.

Я уверен, что мою рекламу отклонили по ошибке. Что делать?

На многих тематиках автоматические фильтры первичной модерации настроены очень строго — например, в таких деликатных сферах, как реклама лечебных средств, организаций и услуг. 

Автоматическая проверка может пройти не только до размещения, но и после начала показов. Роботы совершают обходы постоянно, а не только когда в стране меняются правила размещения рекламы или если на рынке участились случаи интернет-мошенничества. 

Если вы считаете, что вашу рекламу отклонили по ошибке, обязательно обратитесь в отдел клиентского сервиса и попросите сотрудников проверить её повторно. Если специалисты все же подтвердят отклонение вашей рекламы от показов, вам нужно будет заполнить заявку на возврат средств.

Рекламу отклонили без объяснения причин. Почему?

Для Яндекса категоричные отказы на этапе модерации — относительно редкая практика. Всего 0,8% всех приходящих на модерацию объявлений отклоняются «по пункту 15 рекламной политики Яндекса» без объяснения причин — оферта и требования к рекламным материалам Яндекса предусматривают эту возможность. Право рекламной системы не всегда подробно объяснять причину отказа включено в рекламную политику многих крупных площадок. Чаще всего это связано с защитой интересов пользователей других сервисов Яндекса и с  системой борьбы с вредоносными действиями. 

Отклонение со ссылкой на пункт 15 означает, что мы, к сожалению, не готовы разместить ваше объявление. Когда такое решение принято, мы осознанно не поясняем его причины. При этом мы всегда готовы работать с другими вашими объявлениями, которые соответствуют требованиям к рекламе.

Однако в любой непонятной ситуации мы сначала ищем способы помочь бизнесу с размещением и задаём дополнительные вопросы, ответы на которые помогут преодолеть сложности и принять решение в вашу пользу. Чтобы разобраться, что случилось, пройдите по ссылке «Как исправить?» в отклонённом объявлении или свяжитесь с отделом клиентского сервиса.

Я вижу в Яндексе объявления той же тематики, что и у меня, — почему вы не размещаете именно мою рекламу?

Решение модераторов отклонить рекламу может зависеть от множества факторов, которые могут быть связаны не только с тематикой, но и, например, с содержанием сайта. Иногда одной проверки мало, чтобы обнаружить все факторы сразу. Наши специалисты пристально изучают спорную рекламу, сайты и дополнительные документы до принятия финального решения. В этих случаях некоторые объявления могут показываться какое-то время, но затем будут отклонены. 

Вы можете попросить нас повторно проверить любую рекламу на выдаче через форму обратной связи. А ещё во всех блоках Директа на поиске есть возможность пожаловаться на объявление, кликнув на «треугольник» рядом с отображаемой ссылкой — с его помощью тоже можно обратить внимание модераторов на рекламу, которую вы считаете некорректной. 

Мои товары и услуги совершенно безобидны, а вы цепляетесь с вопросами

Некоторых рекламодателей удивляют и раздражают дополнительные вопросы сотрудников Яндекса. Например, просьба уточнить объект рекламирования или прислать подтверждающие документы. Иногда без этих вопросов не обойтись — в первую очередь они направлены на защиту интересов наших пользователей.

Именно строгая проверка объявлений помогает сохранить доверие пользователей к Яндексу и стабильно приводить к бизнесам новых клиентов. 

Мне кажется, сотрудник службы модерации необъективен

В Яндексе есть специальная независимая комиссия, которая рассматривает жалобы на «человеческий фактор» — то есть разбирает вопросы взаимодействия специалистов компании с рекламодателями. Все ответы и решения фиксируются, так что по истории ваших обращений будет легко проследить действия модератора или менеджера. Если что-то действительно пошло не так, по итогам с вами обязательно свяжутся и расскажут о дальнейших действиях. 

Модерация — сложный и необходимый процесс, который помогает защитить пользователей и рекламодателей от «неправильной» рекламы. Мы продолжим работать над этой системой, чтобы она могла учитывать как можно больше факторов и мнений, взвешивать их с учётом возможного вреда или пользы, была максимально объективной.

В следующей статье о модерации мы поговорим об особенностях показов в разных регионах и странах и о том, как работать с такой рекламой в интерфейсе Директа.

А вашим рекламным кампаниям мы желаем приятного полёта!

И все-таки, можем ли мы доверять пользователям? / Хабр
О чем эта история? О том, что нас постоянно должен кто-то оберегать от крайностей в интернет дискуссиях. О том, что делается организаторами дискуссий, чтобы позволить нам хоть как-то приемлемо общаться, и как им не удается справиться с этой задачей. О том, чего нам не хватает при таком общении и что нового можно предложить в области модерирования.

Итак, на сцене под жарким светом софитов – модерация интернет дискуссий, а точнее комментариев.

В чем же проблема, с чем боремся?


Дискуссия на интересующую тебя тему — так это же здорово! Интересный собеседник на другом конце континента – это ли не мечта наших предков! Однако, в онлайн дискуссиях есть ложка дегтя: постоянно кто-то мешает.

С этой проблемой сталкиваются начинающие блогеры, впервые окунувшиеся в чудный онлайн мир и открывшие всему миру на своем блоге заветный диалог комментирования. С ней же бьются интернет-гиганты, вкладывающие в эту задачу ежегодно миллионы долларов и нанимающие сотни тысяч дополнительных модераторов в период всплеска активности пользователей, обсуждающих топовые новости, катастрофы, пандемии и т.д.

Когда-то такой проблемой был явный спам, а самыми большими вредителями были интернет-боты, которые были запрограммированы изображать из себя пользователей, и спамить для выгоды их хозяев по диалогам комментирования. С таким типом помех в дискуссиях организаторы, пусть с разной степенью успеха, но научились бороться. Научились их обескураживать и запутывать. Спасибо сервисам капчи, автоматическим фильтрам, нейросетям и Akismet, что с нами, что охраняете нас от явного спама!

На автомат – найдется другой автомат.


Но, оказалось, что организаторам выдохнуть все же нельзя. Защитив обсуждение от массовых рассылок интернет-ботов, его также нужно защитить и от людей, не соблюдающих правила дискутирования онлайн. И тут оказалось, что автоматическими методами обойтись не получится, ибо слабы они.

Потому что они сейчас находятся еще не в той точке развития. Потому что они еще очень плохо понимают смысл человеческих диалогов. Потому что, по-прежнему, как и во времена Карела Чапека, лучшие умы человечества все еще бьются над задачей создания сильного ИИ, способного действительно понимать нас. Потому что нарушающий правила пользователь, при желании, преспокойно обходит фильтры, нейросети, и прочие псевдо-разумные автоматы.

Так что мы имеем сейчас?


В итоге, организация дискуссии, по-прежнему, требует присутствия человека модератора. Да, конечно, программы умнеют и позволяют сократить множество проверок. Но они и ошибаются, причем, и нередко, но метко. В итоге, за человеком-модератором, по-прежнему, остается окончательное решение: нарушает ли тот или иной комментарий правила, выходит ли он за рамки обсуждения, не обманул ли данный комментарий автомат. Ну так и где же нам взять нужное количество модераторов для всех диалогов?

Сейчас владельцы сайтов сталкиваются с ситуацией, что, в ряде случаев, комментарии лучше вообще отключить.


Это может быть проще и для блогера, который хочет сосредоточиться на написании статей (а может и на чем-то более приятном) и который и не имеет возможности (да и не хочет — зачем ему это?) отвлекаться на модерирование обсуждений. Это может быть проще и экономически целесообразнее и для крупных интернет-компаний. Это, например, сделал в марте 2019 года видеохостинг YouTube, который ввел новые правила, после которых, десятки миллионов видео лишились кнопки «Оставить комментарий». А все потому, что рекламодатели не довольны комментариями, зачастую сексуального характера и отказываются рекламироваться в таком информационном окружении. Вот тут и привет автоматическому модерированию! Ну не могут они!

А как же сами дискутирующие пользователи? Могут ли они помочь?


Казалось бы, да. Большинство пользователей заинтересованы в адекватном проведении дискуссии. В конце концов, адекватных людей больше, чем неадекватных, и они могли бы как-то участвовать в процессе модерации, как-то оценивать комментарии и друг друга самостоятельно. Очень заманчиво, не правда ли? Вроде, и модератор не особо тогда нужен. Как и в обычной жизни, когда адекватность дискуссий под нашим контролем и если кто-то мешает обсуждению, то сообщество просто исключает его. В некоторых случаях даже кулаками.

В интернете же все не так, потому что все равны, потому что нет доверия пользователям. По умолчанию. Давать возможность напрямую модерировать чужие комментарии простому пользователю — это безумие, интернет-харакири для организатора.

И все же попытки передать пользователям хотя бы часть управления дискуссией продолжаются. Уж больно заманчиво.


Вот, например, можно позвать модератора в случае нарушения. Помните? Та самая заветная кнопка “пожаловаться”. Класс! Только вот что-то лениво нашему блогеру, не спешит он особо. Да и вообще, может вы ее шутя нажали?

Или, например, если много пользователей указывают на нарушение, тогда, пожалуй, можно и довериться такой коллективной модерации и автоматически скрыть нарушение. Но и тут есть трудности. А что если недостаточно пользователей для организации коллективного голосования? И вообще-то, как-то есть подозрение, что такое голосование можно накрутить с разных браузеров.

Или можно попробовать выбрать наиболее объективных пользователей и дать им функции модерирования. Как, например, на Хабре. Но тут должно быть большое сообщество со своей историей, на основании которой можно выбрать объективных пользователей. А это бывает далеко не всегда.

Итак, если мы стоим на дзен-пути привлечения пользователей к адекватному проведению дискуссий, то мы, очевидно, приходим к вопросу:

Как научиться доверять пользователю?


Казалось бы, невозможно просто так взять и довериться оценке неизвестного пользователя. Но ведь можно создать условия, при которой этой оценке можно доверять! И такой успешный опыт в интернете уже есть! Такой метод использует широко известная и изрядно всем поднадоевшая reCaptcha. Точнее, одна из ее первых версий, в которой пользователю для авторизации на сайте предлагалось написать несколько слов. Одно из этих слов было проверочным и известно системе, а другое слово было неизвестно системе, и его требовалось распознать. Сами же пользователи не знали, какое слово известное, а какое нет, и для того, чтобы быстрее авторизоваться, вынуждены были отвечать честно, а не гадать!

В итоге, пользователи, которые отвечали честно и правильно вводили проверочное слово, считались объективными, и reCaptcha их пропускала дальше, а также принимала! ранее не известное ей слово, как верный результат.

И это оказалось эффективно! Таким нехитрым методом пользователи reCaptcha только за первые полгода работы успешно распознали около 150 миллионов нераспознанных слов, что эквивалентно 7500 книгам, которые не смогли распознать автоматические методы. Не плохо, правда?

Но можем ли мы применить такой метод в области модерации?


А почему нет? Ничего не мешает дать пользователю возможность оценить на соответствие правилам ряд из комментариев, среди которых будет один, оценка которого нам не известна, а остальные будут проверочными. Далее, принять оценку неизвестного комментария, если пользователь честен в оценке проверочных (то есть известных системе) комментариев. Причем, для оценки неизвестного комментария, таким образом, нам не нужно будет организовывать коллективное голосование, достаточно будет одного пользователя, который докажет свою адекватность!

А дальше еще интереснее. Этот, казалось бы, простой метод одиночной объективной оценки при его тиражировании может дать мощный эффект модерирования, так сказать независимую пользовательскую модерацию:

  1. С помощью метода можно создать целую сеть-сообщество пользовательской модерации:
    Так, неизвестный комментарий пользователя с сайта1 может быть отправлен на проверку пользователю с сайта2. А неизвестный комментарий пользователя с сайта2 может быть оценен пользователем с сайта3. И так далее. При этом скорость проверки комментариев в сети будет возрастать с ростом числа вовлеченных в модерирование пользователей, что существенно будет для малопосещаемых сайтов.
  2. С его помощью можно организовать пользовательскую пре-модерацию комментариев.
    Так, мы предлагаем пользователю принудительно проверить ряд чужих комментариев перед тем, как позволить ему опубликовать свой. А затем введенный им комментарий отправить в свою очередь на проверку. В итоге получаем перекрестную проверку комментариев.
  3. С его помощью можно организовать пользовательскую пост-модерацию комментариев:
    Рядом с каждым уже опубликованным комментарием есть кнопка “нарушает?”. И любой заинтересованный пользователь может отправить на перепроверку любой комментарий. Разумеется, только после того, как предварительно успешно проверит ряд чужих комментариев. В итоге, если чей-то комментарий нарушил его не сложно удалить.
  4. Его можно использовать как средство повторения правил:
    Конечно, нужно понимать, в нормальном режиме диалога пользователям вообще не хочется что-либо проверять, а хочется комментировать без ограничений. Поэтому эту проверку можно использовать как средство повторения правил, принудительно предлагать ее, только если пользователь еще не знает правил данного сообщества или если пост- или пре-модерацией было выявлено, что он их нарушил предыдущий раз. Нарушил- будь добр повтори правила, одновременно выполнив полезную работу. И в следующий раз вспомни об этом перед тем, как нарушить правила.

Как пелось в солдатской сатирической песни:
Чисто вписано в бумаги,
Да забыли про овраги,
А по ним ходить!
И как это будет в жизни?

Для наглядности приведем пример пост-модерации на основе данного метода:

1) Предположим, у нас есть следующая дискуссия. Любой читатель, сталкиваясь с нарушением, в может вызвать проверку нажав кнопку “нарушает?”

2) Ему будут предложены правила пользовательской модерации и предложено оценить несколько чужих комментариев перед тем, как отослать на модерацию комментарий, выбранный им. Нажав кнопку “Оценить>>”, он сможет приступить к оценке.

3) Ниже приведен пример одной из 4-х оценок (оценок может быть разное число), которые будут ему предложены. Варианты ответа “Да” или “Нет”.

4) Если пользователь объективен и верно оценивает все комментарии (в данном примере будет 3 проверочных комментария и один неизвестный, который нужно проверить), то он считается объективным, и ему будет разрешено отправить выбранный им комментарий на модерацию.

5) Если пользователь ошибся в проверочных частях, то он считается необъективным, и он не сможет отправить комментарий на модерацию.

Тоже самое можно организовать и для пре-модерации. В целом, на основании данного метода возможна следующая культура комментирования:

  • Неавторизованные на сайте пользователи всегда комментируют с пользовательской пре-модерацией.
  • Авторизованные пользователи, если не нарушают, могут комментировать без пре-модерации.
  • Читатели могут устранять нарушения с помощью пользовательской пост-модерации.

Вот так просто мы можем привлечь пользователей к решению задачи модерирования, если начнем им доверять. Таким образом, мы можем дать пользователям возможность самим поддерживать культуру общения, особо их при этом не утруждая, и организовать такую среду, при которой комментирующим будет невыгодно нарушать правила дискутирования.

Спасибо! И да начнется критика!

Добавление: По мотивам данной статьи была создана демоверсия.
Ее можно попробовать здесь.

Как подготовить сайт к прохождению модерации

Вы создали свой сайт на 1C-UMI? Отличный выбор! Однако первое время ваш сайт не увидит никто, кроме вас. Чтобы он был опубликован в сети и его смогли найти пользователи всего интернета, сайт должен пройти модерацию.

Что нужно сделать для успешного прохождения модерации:

  • заполнить своим контентом не менее пяти страниц сайта,
  • указать контактные данные в шапке сайта,
  • проверить, нет ли на сайте запрещённых материалов.

Модерация нужна для того, чтобы в интернете не появлялись ресурсы с противозаконным контентом и не плодились тысячи одинаковых сайтов-пустышек. Это может навредить и владельцам сайтов, и самому сервису.

Давайте рассмотрим каждый из шагов подробнее.

Шаг 1. Заполните сайт

Сайт похож на книгу: его структура — это оглавление, а страницы электронного ресурса равны книжным. Во всех печатных изданиях страницы пронумерованы, а значит, и у каждой страницы сайта должен быть свой адрес.

Адрес сайта

Адрес сайта

На вашем сайте также есть страницы. Это главная страница, на которую попадает пользователь прежде всего, страница с рассказом о компании, страница с контактами и другие. В шаблонах 1C-UMI вы меняете названия наших шаблонов на свои. Чтобы вам было легче заполнять сайт, воспользуйтесь нашим руководством по редактированию информации на сайте.

Шаблонные названия страниц

Шаблонные названия страниц

На скрине шаблона сайта разделы расположены в один ряд: главная, способы заработка, платёжные системы, полезная информация, контакты.

Чтобы переименовать их, нажмите кнопку «Редактировать» или F2. Она находится наверху, рядом с панелью управления. После этого щёлкайте на текст, который хотите изменить, и пишите то, что вам нужно.

Кнопка редактирования страницы

Кнопка редактирования страницы

Если хотите перейти на другую страницу, нажимайте «Просмотр» или F2 там же и потом снова «Редактировать» или F2.

Редактирование и просмотр страниц на 1C-UMI

Редактирование и просмотр страниц на 1C-UMI

Для успешного прохождения модерации необходимо заполнить не менее пяти страниц сайта.

Почему? Потому что поисковые роботы видят только заполненные сайты. И пять страниц — это необходимый минимум.

Что нужно писать на каждой странице? Об этом читайте в нашей статье «Что должен содержать контент разных сайтов».

Заполнение всех страниц необходимо

Заполнение всех страниц необходимо

Мы переименовали названия всех пяти страниц, теперь приступаем к заполнению.

Объём текста на каждой странице — не менее 1000 символов (букв, знаков препинания, пробелов между словами). Можно добавлять таблицы и яркие фотографии.

Пример наполненной страницы сайта

Пример наполненной страницы сайта

Размещая текст, форматируйте его: выделяйте подзаголовки, нумеруйте пункты, чтобы читать материал было легче. Это повлияет и на удобство восприятия информации на сайте, и на его поисковую оптимизацию.

Форматирование текста на странице сайта

Форматирование текста на странице сайта

Шаг 2. Заполните контакты

Проверьте правильность данных перед размещением на странице.

Первым делом обязательно заполните контакты в шапке:

Заполнение контактов

Заполнение контактов

Чем больше контактов вы укажете, тем удобнее будет пользователям связаться с вами.

  • Укажите полный адрес: почтовый индекс, город, улицу, номер дома.
  • Телефоны указывайте с кодом города. Если номеров несколько, то помечайте рядом, к каким отделам/сотрудникам/вопросам они относятся. Например, по вопросам партнёрства: тел. +7 495 256-56-65, по вопросам продаж: +7 495 242-16-20.
  • Укажите электронную почту, аккаунты компании социальных сетей (если они есть и выглядят презентабельно).
  • Сообщите клиентам о том, какие документы следует взять с собой перед посещением.
  • Создайте схему проезда, укажите ключевые ориентиры, если до офиса сложно добраться, добавьте фотографии здания и входа.

Шаг 3. Отправьте сайт на модерацию

Ознакомьтесь с правилами сервиса и списком запрещённой информации и товаров и убедитесь в том, что на нём отсутствует запрещённая информация. Откорректируйте содержимое сайта. После того, как все страницы заполнены и проверены, нажмите кнопку «Опубликовать».

Публикация сайта

Публикация сайта

Появится сообщение о том, что сайт отправлен на модерацию. И буквально через минуту на почту придёт письмо с подтверждением прохождения модерации. В панели управления сайтом появится отметка: «Модерация: пройдено». Это означает, что ваш сайт появился в сети и доступен всем пользователям. Поздравляем!

Сообщение о прохождении модерации

Сообщение о прохождении модерации

Сайт не прошел модерацию — что делать?

Просмотрите ещё раз контент вашего сайта и подумайте, где могли быть нарушены правила. Нашли ошибки? Исправьте их и нажмите кнопку «Пожаловаться».

При необходимости модерация будет произведена вручную</p><p>Мы проверим ваш сайт вручную и&comma; при соблюдении всех требований&comma; опубликуем его в сети.

При необходимости модерация будет произведена вручную

 

Мы проверим ваш сайт вручную и, при соблюдении всех требований, опубликуем его в сети.

Построение автоматической системы модерации сообщений / Хабр

Автоматические системы модерации внедряются в веб-сервисы и приложения, где необходимо обрабатывать большое количество сообщений пользователей. Такие системы позволяют сократить издержки на ручную модерацию, ускорить её и обрабатывать все сообщения пользователей в real-time. В статье поговорим про построение автоматической системы модерации для обработки английского языка с использованием алгоритмов машинного обучения. Обсудим весь пайплайн работы от исследовательских задач и выбора ML алгоритмов до выкатки в продакшен. Посмотрим, где искать готовые датасеты и как собрать данные для задачи самостоятельно.

Подготовлено совместно с Ирой Степанюк (id_step), Data Scientist в Poteha Labs

Описание задачи


Мы работаем с многопользовательскими активными чатами, где каждую минуту в один чат могут приходить короткие сообщения от десятков пользователей. Задача состоит в выделении токсичных сообщений и сообщений с любыми нецензурными высказываниями в диалогах из таких чатов. С точки зрения машинного обучения — это задача бинарной классификации, где каждое сообщение нужно отнести к одному из классов.

Для решения такой задачи в первую очередь нужно было понять, что такое токсичные сообщения и что именно делает их токсичными. Для этого мы просмотрели большое количество типичных сообщений пользователей в интернете. Приведем несколько примеров, которые мы уже разделили на токсичные сообщения и нормальные.


Видно, что токсичные сообщения часто содержат нецензурные слова, но всё же это не обязательное условие. Сообщение может не содержать недопустимых слов, но быть оскорбительным для кого-либо (пример (1)). Кроме того, иногда токсичные и нормальные сообщения содержат одни и те же слова, которые употребляются в разном контексте — оскорбительном или нет (пример (2)). Такие сообщения тоже нужно уметь различать.
Изучив разные сообщения, для нашей системы модерации мы назвали токсичными такие сообщения, которые содержат высказывания с нецензурными, оскорбительными выражениями или проявлением ненависти к кому-либо.

Данные


Открытые данные

Одним из самых известных датасетов по задаче модерации является датасет с соревнования на Kaggle Toxic Comment Classification Challenge. Часть разметки в датасете некорректна: например, сообщения с нецензурными словами могут быть отмечены как нормальные. Из-за этого нельзя просто взять Kernel соревнования и получить хорошо работающий алгоритм классификации. Нужно больше работать с данными, смотреть, каких примеров недостаточно, и добавлять дополнительные данные с такими примерами.

Помимо соревнований есть несколько научных публикаций с ссылками на подходящие датасеты (пример), однако не все можно использовать в коммерческих проектах. В основном в таких датасетах собраны сообщения из социальной сети Twitter, где можно встретить много токсичных твитов. Кроме того, данные собирают из Twitter, так как можно использовать определенные хэштеги для поиска и разметки токсичных сообщений пользователей.

Данные, собранные вручную

После того, как мы собрали датасет из открытых источников и обучили на нем базовую модель, стало понятно, что открытых данных недостаточно: не устраивает качество модели. Помимо открытых данных для решения задачи нам была доступна неразмеченная выборка сообщений из игрового мессенджера с большим количеством токсичных сообщений.

Чтобы использовать эти данные для своей задачи, их нужно было как-то разметить. На тот момент уже был обученный бейзлайн классификатор, который мы решили использовать для полуавтоматической разметки. Прогнав все сообщения через модель, мы получили вероятности токсичности каждого сообщения и отсортировали по убыванию. В начале этого списка были собраны сообщения с нецензурными и оскорбительными словами. В конце наоборот находятся нормальные сообщения пользователей. Таким образом, большую часть данных (с очень большими и очень маленькими значениями вероятности) можно было не размечать, а сразу отнести к определенному классу. Осталось разметить сообщения, которые попали в середину списка, что было сделано вручную.

Аугментация данных

Часто в датасетах можно увидеть измененные сообщения, на которых классификатор ошибается, а человек правильно понимает их смысл.
Все потому, что пользователи подстраиваются и учатся обманывать системы модерации, чтобы алгоритмы ошибались на токсичных сообщениях, а человеку смысл оставался понятен. Что пользователи делают уже сейчас:
  • генерируют опечатки: you are stupid asswhole, fack you,
  • заменяют буквенные символы на цифры, похожие по описанию: n1gga, b0ll0cks,
  • вставляют дополнительные пробелы: i d i o t,
  • удаляют пробелы между словами: dieyoustupid.

Для того, чтобы обучить классификатор устойчивый к таким подменам, нужно поступить так, как поступают пользователи: сгенерировать такие же изменения в сообщениях и добавить их в обучающую выборку к основным данным.
В целом, эта борьба неизбежна: пользователи всегда будут пытаться находить уязвимости и хаки, а модераторы реализовывать новые алгоритмы.

Описание подзадач


Перед нами стояли подзадачи по анализу сообщения в двух разных режимах:
  • онлайн режим — real-time анализ сообщений, с максимальной скоростью ответа;
  • офлайн режим — анализ логов сообщений и выделение токсичных диалогов.

В онлайн режиме мы обрабатываем каждое сообщение пользователей и прогоняем его через модель. Если сообщения токсичное, то скрываем его в интерфейсе чата, а если нормальное, то выводим. В таком режиме все сообщения должны обрабатываться очень быстро: модель должна выдавать ответ настолько быстро, чтобы не нарушать структуру диалога между пользователями.
В офлайн режиме ограничений по времени работы нет, и поэтому хотелось реализовать модель с максимальным качеством.

Онлайн режим. Поиск слов по словарю


Вне зависимости от того, какая модель будет выбрана дальше, мы должны находить и фильтровать сообщения с нецензурными словами. Для решения этой подзадачи проще всего составить словарь недопустимых слов и выражений, которые точно нельзя пропускать, и делать поиск таких слов в каждом сообщении. Поиск должен происходить быстро, поэтому наивный алгоритм поиска подстрок за такое то время не подходит. Подходящим алгоритмом для поиска набора слов в строке является алгоритм Ахо-Корасик. За счет такого подхода удается быстро определять некоторые токсичные примеры и блокировать сообщения еще до их передачи в основной алгоритм. Использование ML алгоритма позволит «понимать смысл» сообщений и улучшить качество классификации.

Онлайн режим. Базовая модель машинного обучения


Для базовой модели решили использовать стандартный подход для классификации текстов: TF-IDF + классический алгоритм классификации. Опять же из соображений скорости и производительности.

TF-IDF — это статистическая мера, которая позволяет определить наиболее важные слова для текста в корпусе с помощью двух параметров: частот слов в каждом документе и количества документов, содержащих определенное слово (более подробно здесь). Рассчитав для каждого слова в сообщении TF-IDF, получаем векторное представление этого сообщения.
TF-IDF можно рассчитывать для слов в тексте, а также для n-грам слов и символов. Такое расширение будет работать лучше, так как сможет обрабатывать часто встречающиеся словосочетания и слова, которых не было в обучающей выборке (out-of-vocabulary).

from sklearn.feature_extraction.text import TfidfVectorizer
from scipy import sparse
vect_word = TfidfVectorizer(max_features=10000, lowercase=True, 
  analyzer='word', min_df=8, stop_words=stop_words, ngram_range=(1,3))
vect_char = TfidfVectorizer(max_features=30000, lowercase=True,
   analyzer='char', min_df=8, ngram_range=(3,6))

x_vec_word = vect_word.fit_transform(x_train)
x_vec_char = vect_char.fit_transform(x_train)
x_vec = sparse.hstack([x_vec_word, x_vec_char])
Пример использования TF-IDF на n-грамах слов и символов

После преобразования сообщений в векторы можно использовать любой классический метод для классификации: логистическую регрессию, SVM, случайный лес, бустинг.

В нашей задаче решили использовать логистическую регрессию, так как эта модель дает прирост по скорости работы в сравнении с другими классическими ML классификаторами и предсказывает вероятности классов, что позволяет гибко подбирать порог классификации в продакшне.

Полученный с использованием TF-IDF и логистической регрессии алгоритм быстро работает и хорошо определяет сообщения с нецензурными словами и выражениями, но не всегда понимает смысл. Например, часто сообщения со словами ‘black’ и ‘feminizm’ попадали в токсичный класс. Хотелось исправить эту проблему и научиться лучше понимать смысл сообщений с помощью следующей версии классификатора.

Офлайн режим


Для того, чтобы лучше понимать смысл сообщений, можно использовать нейросетевые алгоритмы:
  • Эмбеддинги (Word2Vec, FastText)
  • Нейросети (CNN, RNN, LSTM)
  • Новые предобученные модели (ELMo, ULMFiT, BERT)

Обсудим некоторые из таких алгоритмов и как их можно использовать подробнее.
Word2Vec и FastText

Модели эмбеддингов позволяют получать векторные представления слов из текстов. Существует два типа Word2Vec: Skip-gram и CBOW (Continuous Bag of Words). В Skip-gram по слову предсказывается контекст, а в CBOW наоборот: по контексту предсказывается слово.

Такие модели обучаются на больших корпусах текстов и позволяют получить векторные представления слов из скрытого слоя обученной нейросети. Минус такой архитектуры в том, что модель обучается на ограниченном наборе слов, которые содержатся в корпусе. Это означает, что для всех слов, которых не было в корпусе текстов на этапе обучения, не будет эмбеддингов. А такая ситуация происходит часто, когда предобученные модели используются для своих задач: для части слов не будет эмбеддингов, соответственно большое количество полезной информации будет теряться.

Для решения проблемы со словами, которых нет в словаре, (OOV, out-of-vocabulary) есть улучшенная модель эмбеддингов — FastText. Вместо использования отдельных слов для обучения нейросети, FastText разбивает слова на n-грамы (подслова) и обучается на них. Для получения векторного представления слова нужно получить векторные представления n-грам этого слова и сложить их.

Таким образом, для получения векторов признаков из сообщений можно использовать предобученные модели Word2Vec и FastText. Полученные признаки можно классифицировать с помощью классических ML классификаторов или полносвязной нейросети.


Пример вывода “ближайших” по смыслу слов с использованием предобученного FastText

Классификатор на CNN

Для обработки и классификации текстов из нейросетевых алгоритмов чаще используют рекуррентные сети (LSTM, GRU), так как они хорошо работают с последовательностями. Сверточные сети (CNN) чаще всего используют для обработки изображений, однако их также можно использовать в задаче классификации текстов. Рассмотрим, как это можно сделать.
Каждое сообщение представляет собой матрицу, в которой на каждой строке для токена (слова) записано его векторное представление. Свертка применяется к такой матрице определенным образом: фильтр свертки “скользит” по целым строкам матрицы (векторам слов), но при этом захватывает несколько слов за раз (обычно 2-5 слов), таким образом обрабатывая слова в контексте соседних слов. Подробно, как это происходит, можно посмотреть на картинке.

Зачем же применять сверточные сети для обработки текстов, когда можно использовать рекуррентные? Дело в том, что свертки работают сильно быстрее. Используя их для задачи классификации сообщений, можно сильно сэкономить время на обучении.
ELMo

ELMo (Embeddings from Language Models) — модель эмбеддингов на основе языковой модели, которая была недавно представлена. Новая модель эмбеддингов отличается от Word2Vec и FastText моделей. Вектора слов ELMo обладают определенными преимуществами:
  • Представление каждого слова зависит от всего контекста, в котором оно используется.
  • Представление основано на символах, что позволяет формировать надежные представления для OOV (out-of-vocabulary) слов.

ELMo можно использовать для разных задач в NLP. Например, для нашей задачи полученные с помощью ELMo вектора сообщений можно отправлять в классический ML классификатор или использовать сверточную или полносвязную сеть.
Предобученные эмбеддинги ELMo достаточно просто использовать для своей задачи, пример использования можно найти здесь.

Особенности реализации


API на Flask

Прототип API был написан на Flask, так как он прост в использовании.
Два Docker образа

Для деплоя использовали два докер образа: базовый, где устанавливались все зависимости, и основной для запуска приложения. Это сильно экономит время сборки, так как первый образ редко пересобирается и за счет этого экономится время при деплое. Довольно много времени тратится на сборку и скачивание библиотек машинного обучения, что не нужно при каждом коммите.
Тестирование

Особенность реализации довольно большого числа алгоритмов машинного обучения состоит в том, что даже при высоких значениях метрик на валидационном датасете реальное качество алгоритма в продакшне может быть низкое. Поэтому для тестирования работы алгоритма всей командой использовали бота в Slack. Это очень удобно, потому что любой член команды может проверить, какой ответ выдают алгоритмы на определенное сообщение. Такой способ тестирования позволяет сразу увидеть, как будут работать алгоритмы на живых данных.
Хорошей альтернативой является запуск решения на публичных площадках вроде Яндекс Толоки и AWS Mechanical Turk.

Заключение


Мы рассмотрели несколько подходов к решению задачи автоматической модерации сообщений и описали особенности нашей реализации.
Основные наблюдения, полученные в ходе работы:
  • Поиск слов по словарю и алгоритм машинного обучения, основанный на TF-IDF и логистической регрессии, позволили классифицировать сообщения быстро, но не всегда корректно.
  • Нейросетевые алгоритмы и предобученные модели эмбеддингов лучше справляются с такой задачей и могут определять токсичность по смыслу сообщения.

Конечно, мы выложили открытое демо Poteha Toxic Comment Detection в фейсбук боте. Помогите нам сделать бота лучше!

Буду рад ответить на вопросы в комментариях.

90000 90001 What is Moderation Management? 90002 90003 90004 90005 90006 90007 90008 90005 90005 90005 90012 Why is a Moderation Program needed? 90013 90005 90005 According to the NIAAA and many other independent researchers, there are four times as many problem drinkers as alcoholics in this country. Yet there are very few programs that specifically address the needs of beginning stage problem drinkers, while there are literally thousands of programs for the smaller population who are seriously alcohol dependent.90005 90005 By the time people reach serious stages of alcohol dependency, changing drinking becomes more difficult, and treatment is usually costly. MM believes that this situation needs to be remedied in the interest of public health and human kindness with early intervention and harm reduction programs. Moderation programs are less costly, shorter in duration, less intensive, and have higher success rates than traditional abstinence-only approaches. 90005 90005 Nine out of ten problem drinkers today actively and purposefully avoid traditional treatment approaches.This is because they know that most traditional programs will label them as «alcoholic», probably force attendance at 12 step and abstinence based meetings, and prescribe lifetime abstinence as the only acceptable change in drinking. 90005 90005 They may also have real concerns about how their participation in these programs will affect their jobs and ability to attain future medical and life insurance. MM is seen as a less threatening first step, and one that problem drinkers are more likely to attempt before their problems become nearly intractable.90005 90005 Not surprisingly, approximately 30% of MM members go on to abstinence-based programs. This is consistent with research findings from professional moderation training programs. Traditional approaches that are based on the disease model of alcohol dependence and its reliance on the concept of powerlessness can be particularly counterproductive for women and minorities, who often already feel like victims and powerless. 90005 90005 Outcome studies indicate that professional programs which offer both moderation and abstinence have higher success rates than those that offer abstinence only.Clients tend to self-select the behavior change options which will work best for them. 90005 90005 90012 What is Moderation Management? 90013 90005 90005 Moderation Management (MM) is a behavioral change program and national support group network for people concerned about their drinking and who desire to make positive lifestyle changes. MM empowers individuals to accept personal responsibility for choosing and maintaining their own path, whether moderation or abstinence. MM promotes early self-recognition of risky drinking behavior, when moderate drinking is a more easily achievable goal.MM is run by lay members who came to the organization to resolve personal issues and stayed to help others. 90005 90005 MM was the first moderation-based support and help entry on the the National Institute on Alcohol Abuse and Alcoholism (NIAAA) «Rethinking Drinking» website under Info and Help links: 90005 http://rethinkingdrinking.niaaa.nih.gov/ ToolsResources / Resources.asp 90005 90005 Moderation Management is recognized as an evidence-based program, on a similar level to other mainstream rehabilitation therapies.We are listed on SAMHSA’s National Registry of Evidence-based Programs and Practices (NREPP) website: 90005 http://legacy.nreppadmin.net/ViewIntervention.aspx?id=212 90005 90039 90005 90005 We may be encountering a significant change in the recovery community. To understand better what is happening, please see this article: 90042 «Alcoholism Is not What It Used To Be» 90043 90005 https://www.spectrum.niaaa.nih.gov/Content/archives/Sept_2009.pdf 90005 90005 90012 What does MM offer? 90013 90005 90005 A supportive mutual-help environment that encourages people who are concerned about their drinking to take action to cut back or quit drinking before drinking problems become severe.90005 90005 A nine-step professionally reviewed program, which provides information about alcohol, moderate drinking guidelines and limits, drink monitoring exercises, goal setting techniques, and self-management strategies. 90005 90005 As a major part of the program, members also use the nine steps to find balance and moderation in many other areas of their lives, one small step at a time. 90005 90005 90012 What does MM cost? 90013 90005 90005 MM meetings are free of charge. Small donations made by individual members and MM groups are used to support community and national programs.90005 90005 90012 What are the basic premises of MM? 90013 90005 90005 Behaviors can be changed. MM agrees with many professionals and researchers in the field that alcohol abuse, versus dependence, is a learned behavior (habit) for problem drinkers, and not a disease. This approach recognizes that people who drink too much can suffer from varying degrees of alcohol-related problems, ranging from mild to moderate to severe. A reasonable early option for problem drinkers is moderation. Seriously dependent drinkers will probably find a return to moderate drinking a great challenge, but the choice to accept that challenge remains theirs.90005 90005 Moderation is a reasonable, practical, and attainable recovery goal for many problem drinkers. Outcome studies indicate that brief intervention programs are successful and cost effective. 90005 90005 90012 The Values ​​that guide MM: 90013 90005 90074 90075 Members take personal responsibility for their own recovery from a drinking problem. 90076 90075 People helping people is the strength of the organization. 90076 90075 People who help others to recover also help themselves.90076 90075 Self-esteem and self-management are essential to recovery. 90076 90075 Members treat each other with respect and dignity. 90076 90085 90012 Assumptions of MM: 90013 90005 90074 90075 Problem drinkers should be offered a choice of behavioral change goals. 90076 90075 Harmful drinking habits should be addressed at a very early stage, before problems become severe. 90076 90075 Problem drinkers can make informed choices about moderation or abstinence goals based upon educational information and the experiences shared at self-help groups.90076 90075 Harm reduction is a worthwhile goal, especially when the total elimination of harm or risk is not a realistic option. 90076 90075 People should not be forced to change in ways they do not choose willingly. 90076 90075 Moderation is a natural part of the process from harmful drinking, whether moderation or abstinence becomes the final goal. Most individuals who are able to maintain total abstinence first attempted to reduce their drinking, unsuccessfully. Moderation programs shorten the process of «discovering» if moderation is a workable solution by providing concrete guidelines about the limits of moderate alcohol consumption.90076 90085 90012 Is MM for every person with a drinking problem? 90013 90005 90005 No. Research suggests that no one solution is best for all people with drinking problems. There are many possible solutions available to each individual, and MM suggests the each person finds the solution that is best for him or her. 90005 90005 MM is good place to begin to address a drinking problem. If MM proves to be an ineffective solution, the individual is encouraged to progress to a more radical solution.90005 90005 90012 Is moderation a reasonable option for you? 90013 90005 90005 This is your decision. To be successful at moderation or abstinence requires effort and a commitment to change. You should take into account the severity of your drinking problem, your personal preference, and any medical, psychological, or other conditions that would be made worse by drinking, even in moderation. If you are unsure, seek professional advice. MM does not provide professional assessment or treatment.90005 90005 90012 What if moderation does not work for you? 90013 90005 90005 After completing 30 days of abstinence (step two o 90007 90122.90000 What is Content Moderation? | Lionbridge AI 90001 90002 90003 More than 100,000 people globally moderate content. But if you skim the headlines on content moderation, the picture is pretty grim. Tech giants employ thousands of content moderators, but most of the jobs are staffed through temporary employment agencies and have a high turnover rate due to the difficult and stressful nature of the work. Separately, the rise of AI looms over the industry, threatening to take over from humans.90004 90003 Take Facebook as an example. It employs over 7,500 content moderators who have to apply the company’s rules to all the content on Facebook. As the Guardian reports, this is a deeply stressful job: 90006 [1] 90007 90004 90003 90004 90011 90003 90013 ‘[which] involves being exposed to the most graphic and extreme content on the internet, making quick judgments about whether a certain symbol is linked to a terrorist group or whether a nude drawing is satirical, educational, or merely salacious.’90014 90004 90016 90003 90004 90003 The same article also noted how an ACLU director expressed reservations about Facebook’s reliance on AI, saying:’ AI will not solve these problems [of poor content moderation] … it will likely exacerbate them. ‘90004 90003 So is the director right? Not exactly. The rise of content moderation is just beginning, and will likely evolve into a somewhat healthier relationship between human moderators and AI tools, as this article will explore. 90004 90003 But first, a primer.90024 Exactly what is content moderation? 90025 90004 90003 At its core, content moderation is basically data labeling. You are labeling or flagging data that does not meet guidelines that you find acceptable. That data could be in any form, such as articles, images, videos or audio clips. 90004 90003 Moderators have to constantly screen, monitor, and approve content in compliance with a company’s guidelines. They ensure that all information and data uploaded by users will not violate intellectual property rights or contain inappropriate content.In some cases, they are also responding to feedback or posts on a site. By ‘protecting’ users from unseemly content, moderators actually help drive up higher user engagement. It also helps ‘protect’ a company’s online reputation. 90004 90003 There are 5 different types of moderation: 90004 90033 90034 Pre moderation: checking content before it is published on a site 90035 90034 Post moderation: checking content after it is published 90035 90034 Reactive moderation: members on a site flagging content as it appears 90035 90034 Distributed moderation: members rating content on a site 90035 90034 Automated moderation: the use of tech to reject or approve submissions to a site.90035 90044 90003 Of these, the last is the only one where AI takes over from humans in content moderation. 90004 90003 90004 90049 Data Labeling 90050 90003 Outsourcing content moderation to AI has taken off because of the general rise of (human) data labelers. Data labeling is the curation and organization of data to train machines. Labelers first comb through data, labeling what’s appropriate and what’s not. That way, the machine is then trained to recognize inappropriate content, and process the billions of pieces of content on a site or app.As one AI professor notes: 90006 [90007 90006 2] 90007 90004 90003 90004 90011 90003 90013 ‘All the impressive advances we see with deep learning have come about using what is called’ supervised learning ‘where the data is labelled’ good ‘or’ bad, ‘or’ Bob ‘and’ Carol ‘… we can not do unsupervised learning as well if the data is unlabeled.’ 90014 90004 90016 90003 90004 90049 The Future of Content Moderation 90050 90003 Future AI tools will will be able to identify and keep scores on specific attributes within an item, rather than just identifying the content.Based on attributes, a relative ‘risk’ score will be generated, that can determine if something should be posted immediately, posted but still reviewed, reviewed before posting, or not posted at all. 90004 90003 But content moderation will also rely on keeping humans in the loop. Humans, for their part, will continue to play an overseeing role, and play to their strengths. Humans have greater contextual understanding, cultural context and can view content subjectively- so they’ll be much more involved in the complex ‘gray areas’ of decision-making.90004 90003 An Accenture report goes further, 90006 [90007 90006 3] 90007 and actually envisions human moderators turning into ‘investigators’ of sorts. These investigators will be armed with data analytics, and have access to behavioral data on on company platforms. They will be able to start detecting «bad actor» and even predict bad behavior. The report’s key takeaway: 90004 90003 90004 90011 90003 90013 ‘When both the AI ​​and investigator work together, investigators can attack the «root cause» of all kinds of problems before they occur, dramatically reducing the need to actually moderate digital content at all’ 90014 90004 90016 90003 90004 90003 This bold vision of the future sees an erasure of current low-skilled data labelers and moderators, and instead predicts high-skilled investigators working in tandem with AI to more effectively moderate.90004 90003 90004 90003 90024 Conclusion: 90025 90004 90003 At Lionbridge AI, we believe that while AI technology will be increasingly deployed in the field of content moderation, there will always be a need for humans to provide some oversight and training. 90004 90003 That’s where Lionbridge AI comes in. With 500,000+ skilled workers working around the clock, you can effectively scale your content moderation efforts. Our team of content moderators will work according to your specific guidelines and objectives to ensure compliance with company policies and legal standards.90004 90003 90004 90003 90024 Sources: 90025 90004 90003 90006 [1] 90007 Julia Carrie and Olivia Wong, ‘Facebook releases content moderation guidelines — rules long kept secret’, 90013 The Guardian 90014, 24 April 2018. 90004 90003 90006 [2] 90007 Hope Reese, ‘Is’ data labeling ‘the new blue-collar job of the AI ​​era?’, 90013 TechRepublic 90014, 10 March 2016. 90004 90003 90006 [3] 90007 ‘Content Moderation: The Future is Bionic,’ 90013 Accenture 90014 , 2017. 90004.90000 How to Become a Website Moderator | Small Business 90001 90002 Nearly all active message forums need moderation, as unmoderated forums can quickly degenerate into obscenity, slander and even illegal activity. Small businesses in particular often discover, as they grow, that their forums need constant supervision. Yet many do not have the resources to provide that oversight themselves, so they turn to moderators. Being a forum moderator offers a good learning experience and a taste of authority, but it feels a lot different from participating as a regular member.As a moderator, you have to go where you are needed and spend time handling flagged posts. 90003 90004 Moderation Defined 90005 90002 Most websites that offer message forums also have terms of service that describe what constitutes unacceptable behavior on the forums. Unacceptable behavior might include posts that provide links to illegal downloads or pornography, posts containing bigotry, posts that personally attack other forum participants and posts that disrupt the existing conversation.Posts that violate the terms of service need to be deleted, and that job usually falls to the «moderators,» special users who have authority to edit or delete other people’s posts. They patrol the forum on a daily basis, looking for unacceptable posts and responding to «flagged posts» that other forum members call to their attention. Effective moderators need to know the terms of service well and must be able to put aside their personal views to enforce the rules impartially, favoring no one. 90003 90004 Volunteer Moderation 90005 90002 Most moderation gigs do not pay any money.Instead, site administrators and other high-level staff recruit forum moderators from pools of volunteers. Most of these prospective moderators do not step into the role with big expectations. They simply enjoy being part of the community and either want to contribute back to it by helping with moderation duties or they want the power that comes from being a moderator. Even though this kind of work does not pay a wage, it could potentially pay dividends down the road. Good forum moderation demonstrates responsibility, consistency, discipline, judgment and diplomacy — all marketable traits.As the Internet evolves, employers will start to take previous Internet experience more seriously. 90003 90004 Joining the Community 90005 90002 To become a volunteer moderator at a forum, first you have to join the community there as a regular member. Administrators overwhelmingly prefer to appoint moderators from the existing community membership — people who have a long posting history and a solid reputation. Selecting a community member makes the new moderator more of a known quantity and less likely to disappear without warning — a common risk in Internet relationships.90003 90004 Making Yourself Valuable 90005 90002 The process of building a solid reputation involves much more than just making posts. You have to demonstrate two kinds of value. First, you have to enrich the community culture. Your posts must lift up the discussion by being thoughtful, respectful and demonstrative of your knowledge and good character. These kinds of posts encourage other people to participate in a richer conversation. That does not mean you can not have an edgy style or an irreverent attitude, and indeed many forums thrive on being outspoken and even aggressive.But it does mean you have to bring style, substance and honor to your participation. 90003 90002 Second, you have to demonstrate that you deserve to hold the power of a moderator to modify or delete other users ‘posts. To be a good moderator, it is not enough to be a valued member of the community. You also have to be able to act in accordance with the website’s interests, show good judgment and trustworthiness and commit to the responsibility of moderation — an endless, sometimes thankless task.90003 90004 Commercial Moderation 90005 90002 If you want to get paid to be a moderator, you’re in luck. The growing popularity of message forums has spawned a cottage industry of professional website moderation companies. The most common opportunities come from companies that want to expand their online platform by launching a forum but do not have the in-house resources necessary to moderate it. Companies want moderators to delete spam, profanity and other abusive comments that violate the website’s terms of service.Some companies, however, want their moderators to help build a community at the forum by participating in it — harder work that commands better pay. You could look for work at an established moderation company, but you could just as easily go into business for yourself if you have a positive history of website moderation and can provide some relevant references to prospective clients. 90003.90000 12 Best Content Moderation Companies to Protect and Improve Your Bottom Line 90001 90002 90003 What is content moderation? 90004 90005 Content moderation is actually a basic data labeling task. The moderators label (flag) data that does not meet their guidelines. This data can be in any form, such as social media posts, comments, profile pictures, videos, or audio clips. 90006 90005 The role of content moderators is to constantly screen, monitor, and approve content in compliance with a company’s guidelines.Content moderation is important for businesses to protect their online brand image and reputation. It’s important to be aware of what people are saying about your business on the web, and to address negative and sensitive content quickly. 90006 90005 90006 90003 Content Moderation Companies 90004 90013 90014 Besedo: All-in-one automation tool for managing user-generated content in marketplaces. 90015 90014 Lionbridge AI: Lionbridge AI has a team of 500,000 qualified contributors that work around the clock according to the customer’s specific guidelines and objectives, to ensure compliance with your company policies and legal standards.90015 90014 Community Sift: Risk-based content filter and moderation engine to protect your community and your bottom line. 90015 90014 OneSpace: Moderate user-generated images, videos and comments to ensure they abide by your brand guidelines and terms of service. OneSpace’s content moderators flag submitted media that could tarnish your company’s reputation. 90015 90014 Europe IT Outsourcing: Europe IT Outsourcing is an online marketing company that also provides content moderation services.90015 90014 ICUC.Social: ICUC.Social monitors social conversations and engage with customer service queries and complaints. The social media content moderation services are available in 30+ languages ​​and supports most major social networks. 90015 90014 LiveWorld: LiveWorld provides multilingual social media content moderation services. Their moderators work around the clock, using local language and native culture to understand nuances and meaning within customer conversations. 90015 90014 Magellan Solutions: Human-powered content moderations services for web and social media.90015 90014 Pure Moderation: Pure Moderation is a company that provides data entry BPO and focuses on content moderation services including brand moderation, image moderation, video moderation, social moderation. 90015 90014 XModerator: Automatic image and content moderation with human accuracy. 90015 90014 Netino: Make sure that your digital places are safe with verified UGC (social media, website, forums, customer reviews, product sheets, etc.) 90015 90014 Computyne: Computyne provides secure end-to-end data entry, data processing, virtual assistant, web scraping and other data services.90015 90038 90005 90006 90005 If you’re looking for content moderation services, contact Lionbridge AI now. We leverage our team of 500,000 experts around the world to maintain the brand images of our customers. 90006 90005 90006 90005 90046 Image by Kevin Dooley via Flickr 90047 90006.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *