Что такое модерация сайта: Модератор сайта – кто это и как им стать? Сколько получают модераторы сайтов?

Построение автоматической системы модерации сообщений / Хабр
Автоматические системы модерации внедряются в веб-сервисы и приложения, где необходимо обрабатывать большое количество сообщений пользователей. Такие системы позволяют сократить издержки на ручную модерацию, ускорить её и обрабатывать все сообщения пользователей в real-time. В статье поговорим про построение автоматической системы модерации для обработки английского языка с использованием алгоритмов машинного обучения. Обсудим весь пайплайн работы от исследовательских задач и выбора ML алгоритмов до выкатки в продакшен. Посмотрим, где искать готовые датасеты и как собрать данные для задачи самостоятельно.

Подготовлено совместно с Ирой Степанюк (id_step), Data Scientist в Poteha Labs

Описание задачи

Мы работаем с многопользовательскими активными чатами, где каждую минуту в один чат могут приходить короткие сообщения от десятков пользователей. Задача состоит в выделении токсичных сообщений и сообщений с любыми нецензурными высказываниями в диалогах из таких чатов. С точки зрения машинного обучения — это задача бинарной классификации, где каждое сообщение нужно отнести к одному из классов.

Для решения такой задачи в первую очередь нужно было понять, что такое токсичные сообщения и что именно делает их токсичными. Для этого мы просмотрели большое количество типичных сообщений пользователей в интернете. Приведем несколько примеров, которые мы уже разделили на токсичные сообщения и нормальные.

Видно, что токсичные сообщения часто содержат нецензурные слова, но всё же это не обязательное условие. Сообщение может не содержать недопустимых слов, но быть оскорбительным для кого-либо (пример (1)). Кроме того, иногда токсичные и нормальные сообщения содержат одни и те же слова, которые употребляются в разном контексте — оскорбительном или нет (пример (2)). Такие сообщения тоже нужно уметь различать.
Изучив разные сообщения, для нашей системы модерации мы назвали токсичными такие сообщения, которые содержат высказывания с нецензурными, оскорбительными выражениями или проявлением ненависти к кому-либо.

Данные

Открытые данные

Одним из самых известных датасетов по задаче модерации является датасет с соревнования на Kaggle Toxic Comment Classification Challenge. Часть разметки в датасете некорректна: например, сообщения с нецензурными словами могут быть отмечены как нормальные. Из-за этого нельзя просто взять Kernel соревнования и получить хорошо работающий алгоритм классификации. Нужно больше работать с данными, смотреть, каких примеров недостаточно, и добавлять дополнительные данные с такими примерами.

Помимо соревнований есть несколько научных публикаций с ссылками на подходящие датасеты (пример), однако не все можно использовать в коммерческих проектах. В основном в таких датасетах собраны сообщения из социальной сети Twitter, где можно встретить много токсичных твитов. Кроме того, данные собирают из Twitter, так как можно использовать определенные хэштеги для поиска и разметки токсичных сообщений пользователей.

Данные, собранные вручную

После того, как мы собрали датасет из открытых источников и обучили на нем базовую модель, стало понятно, что открытых данных недостаточно: не устраивает качество модели. Помимо открытых данных для решения задачи нам была доступна неразмеченная выборка сообщений из игрового мессенджера с большим количеством токсичных сообщений.

Чтобы использовать эти данные для своей задачи, их нужно было как-то разметить. На тот момент уже был обученный бейзлайн классификатор, который мы решили использовать для полуавтоматической разметки. Прогнав все сообщения через модель, мы получили вероятности токсичности каждого сообщения и отсортировали по убыванию. В начале этого списка были собраны сообщения с нецензурными и оскорбительными словами. В конце наоборот находятся нормальные сообщения пользователей. Таким образом, большую часть данных (с очень большими и очень маленькими значениями вероятности) можно было не размечать, а сразу отнести к определенному классу. Осталось разметить сообщения, которые попали в середину списка, что было сделано вручную.

Аугментация данных

Часто в датасетах можно увидеть измененные сообщения, на которых классификатор ошибается, а человек правильно понимает их смысл.
Все потому, что пользователи подстраиваются и учатся обманывать системы модерации, чтобы алгоритмы ошибались на токсичных сообщениях, а человеку смысл оставался понятен. Что пользователи делают уже сейчас:

• генерируют опечатки: you are stupid asswhole, fack you,
• заменяют буквенные символы на цифры, похожие по описанию: n1gga, b0ll0cks,
• вставляют дополнительные пробелы: i d i o t,
• удаляют пробелы между словами: dieyoustupid.

Для того, чтобы обучить классификатор устойчивый к таким подменам, нужно поступить так, как поступают пользователи: сгенерировать такие же изменения в сообщениях и добавить их в обучающую выборку к основным данным.
В целом, эта борьба неизбежна: пользователи всегда будут пытаться находить уязвимости и хаки, а модераторы реализовывать новые алгоритмы.

Описание подзадач

Перед нами стояли подзадачи по анализу сообщения в двух разных режимах:

• онлайн режим — real-time анализ сообщений, с максимальной скоростью ответа;
• офлайн режим — анализ логов сообщений и выделение токсичных диалогов.

В онлайн режиме мы обрабатываем каждое сообщение пользователей и прогоняем его через модель. Если сообщения токсичное, то скрываем его в интерфейсе чата, а если нормальное, то выводим. В таком режиме все сообщения должны обрабатываться очень быстро: модель должна выдавать ответ настолько быстро, чтобы не нарушать структуру диалога между пользователями.
В офлайн режиме ограничений по времени работы нет, и поэтому хотелось реализовать модель с максимальным качеством.

Онлайн режим. Поиск слов по словарю

Вне зависимости от того, какая модель будет выбрана дальше, мы должны находить и фильтровать сообщения с нецензурными словами. Для решения этой подзадачи проще всего составить словарь недопустимых слов и выражений, которые точно нельзя пропускать, и делать поиск таких слов в каждом сообщении. Поиск должен происходить быстро, поэтому наивный алгоритм поиска подстрок за такое то время не подходит. Подходящим алгоритмом для поиска набора слов в строке является алгоритм Ахо-Корасик. За счет такого подхода удается быстро определять некоторые токсичные примеры и блокировать сообщения еще до их передачи в основной алгоритм. Использование ML алгоритма позволит «понимать смысл» сообщений и улучшить качество классификации.

Онлайн режим. Базовая модель машинного обучения

Для базовой модели решили использовать стандартный подход для классификации текстов: TF-IDF + классический алгоритм классификации. Опять же из соображений скорости и производительности.

TF-IDF — это статистическая мера, которая позволяет определить наиболее важные слова для текста в корпусе с помощью двух параметров: частот слов в каждом документе и количества документов, содержащих определенное слово (более подробно здесь). Рассчитав для каждого слова в сообщении TF-IDF, получаем векторное представление этого сообщения.
TF-IDF можно рассчитывать для слов в тексте, а также для n-грам слов и символов. Такое расширение будет работать лучше, так как сможет обрабатывать часто встречающиеся словосочетания и слова, которых не было в обучающей выборке (out-of-vocabulary).

from sklearn.feature_extraction.text import TfidfVectorizer
from scipy import sparse
vect_word = TfidfVectorizer(max_features=10000, lowercase=True, 
  analyzer='word', min_df=8, stop_words=stop_words, ngram_range=(1,3))
vect_char = TfidfVectorizer(max_features=30000, lowercase=True,
   analyzer='char', min_df=8, ngram_range=(3,6))

x_vec_word = vect_word.fit_transform(x_train)
x_vec_char = vect_char.fit_transform(x_train)
x_vec = sparse.hstack([x_vec_word, x_vec_char])

Пример использования TF-IDF на n-грамах слов и символов

После преобразования сообщений в векторы можно использовать любой классический метод для классификации: логистическую регрессию, SVM, случайный лес, бустинг.

В нашей задаче решили использовать логистическую регрессию, так как эта модель дает прирост по скорости работы в сравнении с другими классическими ML классификаторами и предсказывает вероятности классов, что позволяет гибко подбирать порог классификации в продакшне.

Полученный с использованием TF-IDF и логистической регрессии алгоритм быстро работает и хорошо определяет сообщения с нецензурными словами и выражениями, но не всегда понимает смысл. Например, часто сообщения со словами ‘black’ и ‘feminizm’ попадали в токсичный класс. Хотелось исправить эту проблему и научиться лучше понимать смысл сообщений с помощью следующей версии классификатора.

Офлайн режим

Для того, чтобы лучше понимать смысл сообщений, можно использовать нейросетевые алгоритмы:

• Эмбеддинги (Word2Vec, FastText)
• Нейросети (CNN, RNN, LSTM)
• Новые предобученные модели (ELMo, ULMFiT, BERT)

Обсудим некоторые из таких алгоритмов и как их можно использовать подробнее.

Word2Vec и FastText

Модели эмбеддингов позволяют получать векторные представления слов из текстов. Существует два типа Word2Vec: Skip-gram и CBOW (Continuous Bag of Words). В Skip-gram по слову предсказывается контекст, а в CBOW наоборот: по контексту предсказывается слово.

Такие модели обучаются на больших корпусах текстов и позволяют получить векторные представления слов из скрытого слоя обученной нейросети. Минус такой архитектуры в том, что модель обучается на ограниченном наборе слов, которые содержатся в корпусе. Это означает, что для всех слов, которых не было в корпусе текстов на этапе обучения, не будет эмбеддингов. А такая ситуация происходит часто, когда предобученные модели используются для своих задач: для части слов не будет эмбеддингов, соответственно большое количество полезной информации будет теряться.

Для решения проблемы со словами, которых нет в словаре, (OOV, out-of-vocabulary) есть улучшенная модель эмбеддингов — FastText. Вместо использования отдельных слов для обучения нейросети, FastText разбивает слова на n-грамы (подслова) и обучается на них. Для получения векторного представления слова нужно получить векторные представления n-грам этого слова и сложить их.

Таким образом, для получения векторов признаков из сообщений можно использовать предобученные модели Word2Vec и FastText. Полученные признаки можно классифицировать с помощью классических ML классификаторов или полносвязной нейросети.

Пример вывода “ближайших” по смыслу слов с использованием предобученного FastText

Классификатор на CNN

Для обработки и классификации текстов из нейросетевых алгоритмов чаще используют рекуррентные сети (LSTM, GRU), так как они хорошо работают с последовательностями. Сверточные сети (CNN) чаще всего используют для обработки изображений, однако их также можно использовать в задаче классификации текстов. Рассмотрим, как это можно сделать.
Каждое сообщение представляет собой матрицу, в которой на каждой строке для токена (слова) записано его векторное представление. Свертка применяется к такой матрице определенным образом: фильтр свертки “скользит” по целым строкам матрицы (векторам слов), но при этом захватывает несколько слов за раз (обычно 2-5 слов), таким образом обрабатывая слова в контексте соседних слов. Подробно, как это происходит, можно посмотреть на картинке.

Зачем же применять сверточные сети для обработки текстов, когда можно использовать рекуррентные? Дело в том, что свертки работают сильно быстрее. Используя их для задачи классификации сообщений, можно сильно сэкономить время на обучении.

ELMo

ELMo (Embeddings from Language Models) — модель эмбеддингов на основе языковой модели, которая была недавно представлена. Новая модель эмбеддингов отличается от Word2Vec и FastText моделей. Вектора слов ELMo обладают определенными преимуществами:

• Представление каждого слова зависит от всего контекста, в котором оно используется.
• Представление основано на символах, что позволяет формировать надежные представления для OOV (out-of-vocabulary) слов.

ELMo можно использовать для разных задач в NLP. Например, для нашей задачи полученные с помощью ELMo вектора сообщений можно отправлять в классический ML классификатор или использовать сверточную или полносвязную сеть.
Предобученные эмбеддинги ELMo достаточно просто использовать для своей задачи, пример использования можно найти здесь.

Особенности реализации

API на Flask

Прототип API был написан на Flask, так как он прост в использовании.

Два Docker образа

Для деплоя использовали два докер образа: базовый, где устанавливались все зависимости, и основной для запуска приложения. Это сильно экономит время сборки, так как первый образ редко пересобирается и за счет этого экономится время при деплое. Довольно много времени тратится на сборку и скачивание библиотек машинного обучения, что не нужно при каждом коммите.

Тестирование

Особенность реализации довольно большого числа алгоритмов машинного обучения состоит в том, что даже при высоких значениях метрик на валидационном датасете реальное качество алгоритма в продакшне может быть низкое. Поэтому для тестирования работы алгоритма всей командой использовали бота в Slack. Это очень удобно, потому что любой член команды может проверить, какой ответ выдают алгоритмы на определенное сообщение. Такой способ тестирования позволяет сразу увидеть, как будут работать алгоритмы на живых данных.
Хорошей альтернативой является запуск решения на публичных площадках вроде Яндекс Толоки и AWS Mechanical Turk.

Заключение

Мы рассмотрели несколько подходов к решению задачи автоматической модерации сообщений и описали особенности нашей реализации.
Основные наблюдения, полученные в ходе работы:

• Поиск слов по словарю и алгоритм машинного обучения, основанный на TF-IDF и логистической регрессии, позволили классифицировать сообщения быстро, но не всегда корректно.
• Нейросетевые алгоритмы и предобученные модели эмбеддингов лучше справляются с такой задачей и могут определять токсичность по смыслу сообщения.

Конечно, мы выложили открытое демо Poteha Toxic Comment Detection в фейсбук боте. Помогите нам сделать бота лучше!

Буду рад ответить на вопросы в комментариях.

90000 90001 What is Moderation Management? 90002 90003 90004 90005 90006 90007 90008 90005 90005 90005 90012 Why is a Moderation Program needed? 90013 90005 90005 According to the NIAAA and many other independent researchers, there are four times as many problem drinkers as alcoholics in this country. Yet there are very few programs that specifically address the needs of beginning stage problem drinkers, while there are literally thousands of programs for the smaller population who are seriously alcohol dependent.90005 90005 By the time people reach serious stages of alcohol dependency, changing drinking becomes more difficult, and treatment is usually costly. MM believes that this situation needs to be remedied in the interest of public health and human kindness with early intervention and harm reduction programs. Moderation programs are less costly, shorter in duration, less intensive, and have higher success rates than traditional abstinence-only approaches. 90005 90005 Nine out of ten problem drinkers today actively and purposefully avoid traditional treatment approaches.This is because they know that most traditional programs will label them as «alcoholic», probably force attendance at 12 step and abstinence based meetings, and prescribe lifetime abstinence as the only acceptable change in drinking. 90005 90005 They may also have real concerns about how their participation in these programs will affect their jobs and ability to attain future medical and life insurance. MM is seen as a less threatening first step, and one that problem drinkers are more likely to attempt before their problems become nearly intractable.90005 90005 Not surprisingly, approximately 30% of MM members go on to abstinence-based programs. This is consistent with research findings from professional moderation training programs. Traditional approaches that are based on the disease model of alcohol dependence and its reliance on the concept of powerlessness can be particularly counterproductive for women and minorities, who often already feel like victims and powerless. 90005 90005 Outcome studies indicate that professional programs which offer both moderation and abstinence have higher success rates than those that offer abstinence only.Clients tend to self-select the behavior change options which will work best for them. 90005 90005 90012 What is Moderation Management? 90013 90005 90005 Moderation Management (MM) is a behavioral change program and national support group network for people concerned about their drinking and who desire to make positive lifestyle changes. MM empowers individuals to accept personal responsibility for choosing and maintaining their own path, whether moderation or abstinence. MM promotes early self-recognition of risky drinking behavior, when moderate drinking is a more easily achievable goal.MM is run by lay members who came to the organization to resolve personal issues and stayed to help others. 90005 90005 MM was the first moderation-based support and help entry on the the National Institute on Alcohol Abuse and Alcoholism (NIAAA) «Rethinking Drinking» website under Info and Help links: 90005 http://rethinkingdrinking.niaaa.nih.gov/ ToolsResources / Resources.asp 90005 90005 Moderation Management is recognized as an evidence-based program, on a similar level to other mainstream rehabilitation therapies.We are listed on SAMHSA’s National Registry of Evidence-based Programs and Practices (NREPP) website: 90005 http://legacy.nreppadmin.net/ViewIntervention.aspx?id=212 90005 90039 90005 90005 We may be encountering a significant change in the recovery community. To understand better what is happening, please see this article: 90042 «Alcoholism Is not What It Used To Be» 90043 90005 https://www.spectrum.niaaa.nih.gov/Content/archives/Sept_2009.pdf 90005 90005 90012 What does MM offer? 90013 90005 90005 A supportive mutual-help environment that encourages people who are concerned about their drinking to take action to cut back or quit drinking before drinking problems become severe.90005 90005 A nine-step professionally reviewed program, which provides information about alcohol, moderate drinking guidelines and limits, drink monitoring exercises, goal setting techniques, and self-management strategies. 90005 90005 As a major part of the program, members also use the nine steps to find balance and moderation in many other areas of their lives, one small step at a time. 90005 90005 90012 What does MM cost? 90013 90005 90005 MM meetings are free of charge. Small donations made by individual members and MM groups are used to support community and national programs.90005 90005 90012 What are the basic premises of MM? 90013 90005 90005 Behaviors can be changed. MM agrees with many professionals and researchers in the field that alcohol abuse, versus dependence, is a learned behavior (habit) for problem drinkers, and not a disease. This approach recognizes that people who drink too much can suffer from varying degrees of alcohol-related problems, ranging from mild to moderate to severe. A reasonable early option for problem drinkers is moderation. Seriously dependent drinkers will probably find a return to moderate drinking a great challenge, but the choice to accept that challenge remains theirs.90005 90005 Moderation is a reasonable, practical, and attainable recovery goal for many problem drinkers. Outcome studies indicate that brief intervention programs are successful and cost effective. 90005 90005 90012 The Values ​​that guide MM: 90013 90005 90074 90075 Members take personal responsibility for their own recovery from a drinking problem. 90076 90075 People helping people is the strength of the organization. 90076 90075 People who help others to recover also help themselves.90076 90075 Self-esteem and self-management are essential to recovery. 90076 90075 Members treat each other with respect and dignity. 90076 90085 90012 Assumptions of MM: 90013 90005 90074 90075 Problem drinkers should be offered a choice of behavioral change goals. 90076 90075 Harmful drinking habits should be addressed at a very early stage, before problems become severe. 90076 90075 Problem drinkers can make informed choices about moderation or abstinence goals based upon educational information and the experiences shared at self-help groups.90076 90075 Harm reduction is a worthwhile goal, especially when the total elimination of harm or risk is not a realistic option. 90076 90075 People should not be forced to change in ways they do not choose willingly. 90076 90075 Moderation is a natural part of the process from harmful drinking, whether moderation or abstinence becomes the final goal. Most individuals who are able to maintain total abstinence first attempted to reduce their drinking, unsuccessfully. Moderation programs shorten the process of «discovering» if moderation is a workable solution by providing concrete guidelines about the limits of moderate alcohol consumption.90076 90085 90012 Is MM for every person with a drinking problem? 90013 90005 90005 No. Research suggests that no one solution is best for all people with drinking problems. There are many possible solutions available to each individual, and MM suggests the each person finds the solution that is best for him or her. 90005 90005 MM is good place to begin to address a drinking problem. If MM proves to be an ineffective solution, the individual is encouraged to progress to a more radical solution.90005 90005 90012 Is moderation a reasonable option for you? 90013 90005 90005 This is your decision. To be successful at moderation or abstinence requires effort and a commitment to change. You should take into account the severity of your drinking problem, your personal preference, and any medical, psychological, or other conditions that would be made worse by drinking, even in moderation. If you are unsure, seek professional advice. MM does not provide professional assessment or treatment.90005 90005 90012 What if moderation does not work for you? 90013 90005 90005 After completing 30 days of abstinence (step two o 90007 90122.90000 What is Content Moderation? | Lionbridge AI 90001 90002 90003 More than 100,000 people globally moderate content. But if you skim the headlines on content moderation, the picture is pretty grim. Tech giants employ thousands of content moderators, but most of the jobs are staffed through temporary employment agencies and have a high turnover rate due to the difficult and stressful nature of the work. Separately, the rise of AI looms over the industry, threatening to take over from humans.90004 90003 Take Facebook as an example. It employs over 7,500 content moderators who have to apply the company’s rules to all the content on Facebook. As the Guardian reports, this is a deeply stressful job: 90006 [1] 90007 90004 90003 90004 90011 90003 90013 ‘[which] involves being exposed to the most graphic and extreme content on the internet, making quick judgments about whether a certain symbol is linked to a terrorist group or whether a nude drawing is satirical, educational, or merely salacious.’90014 90004 90016 90003 90004 90003 The same article also noted how an ACLU director expressed reservations about Facebook’s reliance on AI, saying:’ AI will not solve these problems [of poor content moderation] … it will likely exacerbate them. ‘90004 90003 So is the director right? Not exactly. The rise of content moderation is just beginning, and will likely evolve into a somewhat healthier relationship between human moderators and AI tools, as this article will explore. 90004 90003 But first, a primer.90024 Exactly what is content moderation? 90025 90004 90003 At its core, content moderation is basically data labeling. You are labeling or flagging data that does not meet guidelines that you find acceptable. That data could be in any form, such as articles, images, videos or audio clips. 90004 90003 Moderators have to constantly screen, monitor, and approve content in compliance with a company’s guidelines. They ensure that all information and data uploaded by users will not violate intellectual property rights or contain inappropriate content.In some cases, they are also responding to feedback or posts on a site. By ‘protecting’ users from unseemly content, moderators actually help drive up higher user engagement. It also helps ‘protect’ a company’s online reputation. 90004 90003 There are 5 different types of moderation: 90004 90033 90034 Pre moderation: checking content before it is published on a site 90035 90034 Post moderation: checking content after it is published 90035 90034 Reactive moderation: members on a site flagging content as it appears 90035 90034 Distributed moderation: members rating content on a site 90035 90034 Automated moderation: the use of tech to reject or approve submissions to a site.90035 90044 90003 Of these, the last is the only one where AI takes over from humans in content moderation. 90004 90003 90004 90049 Data Labeling 90050 90003 Outsourcing content moderation to AI has taken off because of the general rise of (human) data labelers. Data labeling is the curation and organization of data to train machines. Labelers first comb through data, labeling what’s appropriate and what’s not. That way, the machine is then trained to recognize inappropriate content, and process the billions of pieces of content on a site or app.As one AI professor notes: 90006 [90007 90006 2] 90007 90004 90003 90004 90011 90003 90013 ‘All the impressive advances we see with deep learning have come about using what is called’ supervised learning ‘where the data is labelled’ good ‘or’ bad, ‘or’ Bob ‘and’ Carol ‘… we can not do unsupervised learning as well if the data is unlabeled.’ 90014 90004 90016 90003 90004 90049 The Future of Content Moderation 90050 90003 Future AI tools will will be able to identify and keep scores on specific attributes within an item, rather than just identifying the content.Based on attributes, a relative ‘risk’ score will be generated, that can determine if something should be posted immediately, posted but still reviewed, reviewed before posting, or not posted at all. 90004 90003 But content moderation will also rely on keeping humans in the loop. Humans, for their part, will continue to play an overseeing role, and play to their strengths. Humans have greater contextual understanding, cultural context and can view content subjectively- so they’ll be much more involved in the complex ‘gray areas’ of decision-making.90004 90003 An Accenture report goes further, 90006 [90007 90006 3] 90007 and actually envisions human moderators turning into ‘investigators’ of sorts. These investigators will be armed with data analytics, and have access to behavioral data on on company platforms. They will be able to start detecting «bad actor» and even predict bad behavior. The report’s key takeaway: 90004 90003 90004 90011 90003 90013 ‘When both the AI ​​and investigator work together, investigators can attack the «root cause» of all kinds of problems before they occur, dramatically reducing the need to actually moderate digital content at all’ 90014 90004 90016 90003 90004 90003 This bold vision of the future sees an erasure of current low-skilled data labelers and moderators, and instead predicts high-skilled investigators working in tandem with AI to more effectively moderate.90004 90003 90004 90003 90024 Conclusion: 90025 90004 90003 At Lionbridge AI, we believe that while AI technology will be increasingly deployed in the field of content moderation, there will always be a need for humans to provide some oversight and training. 90004 90003 That’s where Lionbridge AI comes in. With 500,000+ skilled workers working around the clock, you can effectively scale your content moderation efforts. Our team of content moderators will work according to your specific guidelines and objectives to ensure compliance with company policies and legal standards.90004 90003 90004 90003 90024 Sources: 90025 90004 90003 90006 [1] 90007 Julia Carrie and Olivia Wong, ‘Facebook releases content moderation guidelines — rules long kept secret’, 90013 The Guardian 90014, 24 April 2018. 90004 90003 90006 [2] 90007 Hope Reese, ‘Is’ data labeling ‘the new blue-collar job of the AI ​​era?’, 90013 TechRepublic 90014, 10 March 2016. 90004 90003 90006 [3] 90007 ‘Content Moderation: The Future is Bionic,’ 90013 Accenture 90014 , 2017. 90004.90000 How to Become a Website Moderator | Small Business 90001 90002 Nearly all active message forums need moderation, as unmoderated forums can quickly degenerate into obscenity, slander and even illegal activity. Small businesses in particular often discover, as they grow, that their forums need constant supervision. Yet many do not have the resources to provide that oversight themselves, so they turn to moderators. Being a forum moderator offers a good learning experience and a taste of authority, but it feels a lot different from participating as a regular member.As a moderator, you have to go where you are needed and spend time handling flagged posts. 90003 90004 Moderation Defined 90005 90002 Most websites that offer message forums also have terms of service that describe what constitutes unacceptable behavior on the forums. Unacceptable behavior might include posts that provide links to illegal downloads or pornography, posts containing bigotry, posts that personally attack other forum participants and posts that disrupt the existing conversation.Posts that violate the terms of service need to be deleted, and that job usually falls to the «moderators,» special users who have authority to edit or delete other people’s posts. They patrol the forum on a daily basis, looking for unacceptable posts and responding to «flagged posts» that other forum members call to their attention. Effective moderators need to know the terms of service well and must be able to put aside their personal views to enforce the rules impartially, favoring no one. 90003 90004 Volunteer Moderation 90005 90002 Most moderation gigs do not pay any money.Instead, site administrators and other high-level staff recruit forum moderators from pools of volunteers. Most of these prospective moderators do not step into the role with big expectations. They simply enjoy being part of the community and either want to contribute back to it by helping with moderation duties or they want the power that comes from being a moderator. Even though this kind of work does not pay a wage, it could potentially pay dividends down the road. Good forum moderation demonstrates responsibility, consistency, discipline, judgment and diplomacy — all marketable traits.As the Internet evolves, employers will start to take previous Internet experience more seriously. 90003 90004 Joining the Community 90005 90002 To become a volunteer moderator at a forum, first you have to join the community there as a regular member. Administrators overwhelmingly prefer to appoint moderators from the existing community membership — people who have a long posting history and a solid reputation. Selecting a community member makes the new moderator more of a known quantity and less likely to disappear without warning — a common risk in Internet relationships.90003 90004 Making Yourself Valuable 90005 90002 The process of building a solid reputation involves much more than just making posts. You have to demonstrate two kinds of value. First, you have to enrich the community culture. Your posts must lift up the discussion by being thoughtful, respectful and demonstrative of your knowledge and good character. These kinds of posts encourage other people to participate in a richer conversation. That does not mean you can not have an edgy style or an irreverent attitude, and indeed many forums thrive on being outspoken and even aggressive.But it does mean you have to bring style, substance and honor to your participation. 90003 90002 Second, you have to demonstrate that you deserve to hold the power of a moderator to modify or delete other users ‘posts. To be a good moderator, it is not enough to be a valued member of the community. You also have to be able to act in accordance with the website’s interests, show good judgment and trustworthiness and commit to the responsibility of moderation — an endless, sometimes thankless task.90003 90004 Commercial Moderation 90005 90002 If you want to get paid to be a moderator, you’re in luck. The growing popularity of message forums has spawned a cottage industry of professional website moderation companies. The most common opportunities come from companies that want to expand their online platform by launching a forum but do not have the in-house resources necessary to moderate it. Companies want moderators to delete spam, profanity and other abusive comments that violate the website’s terms of service.Some companies, however, want their moderators to help build a community at the forum by participating in it — harder work that commands better pay. You could look for work at an established moderation company, but you could just as easily go into business for yourself if you have a positive history of website moderation and can provide some relevant references to prospective clients. 90003.90000 12 Best Content Moderation Companies to Protect and Improve Your Bottom Line 90001 90002 90003 What is content moderation? 90004 90005 Content moderation is actually a basic data labeling task. The moderators label (flag) data that does not meet their guidelines. This data can be in any form, such as social media posts, comments, profile pictures, videos, or audio clips. 90006 90005 The role of content moderators is to constantly screen, monitor, and approve content in compliance with a company’s guidelines.Content moderation is important for businesses to protect their online brand image and reputation. It’s important to be aware of what people are saying about your business on the web, and to address negative and sensitive content quickly. 90006 90005 90006 90003 Content Moderation Companies 90004 90013 90014 Besedo: All-in-one automation tool for managing user-generated content in marketplaces. 90015 90014 Lionbridge AI: Lionbridge AI has a team of 500,000 qualified contributors that work around the clock according to the customer’s specific guidelines and objectives, to ensure compliance with your company policies and legal standards.90015 90014 Community Sift: Risk-based content filter and moderation engine to protect your community and your bottom line. 90015 90014 OneSpace: Moderate user-generated images, videos and comments to ensure they abide by your brand guidelines and terms of service. OneSpace’s content moderators flag submitted media that could tarnish your company’s reputation. 90015 90014 Europe IT Outsourcing: Europe IT Outsourcing is an online marketing company that also provides content moderation services.90015 90014 ICUC.Social: ICUC.Social monitors social conversations and engage with customer service queries and complaints. The social media content moderation services are available in 30+ languages ​​and supports most major social networks. 90015 90014 LiveWorld: LiveWorld provides multilingual social media content moderation services. Their moderators work around the clock, using local language and native culture to understand nuances and meaning within customer conversations. 90015 90014 Magellan Solutions: Human-powered content moderations services for web and social media.90015 90014 Pure Moderation: Pure Moderation is a company that provides data entry BPO and focuses on content moderation services including brand moderation, image moderation, video moderation, social moderation. 90015 90014 XModerator: Automatic image and content moderation with human accuracy. 90015 90014 Netino: Make sure that your digital places are safe with verified UGC (social media, website, forums, customer reviews, product sheets, etc.) 90015 90014 Computyne: Computyne provides secure end-to-end data entry, data processing, virtual assistant, web scraping and other data services.90015 90038 90005 90006 90005 If you’re looking for content moderation services, contact Lionbridge AI now. We leverage our team of 500,000 experts around the world to maintain the brand images of our customers. 90006 90005 90006 90005 90046 Image by Kevin Dooley via Flickr 90047 90006.