Система автоматической модерации контента на Авито

Система автоматической модерации на Авито развивалась более 5 лет, пройдя путь от постмодерации к премодерации. В 2024 году система получила развитие в области "мягкой модерации" с внедрением технологий интеллектуального редактирования контента и работает с фото, видео и изображениями. На 2025 год запланирован запуск внешнего API для других компаний.

Проблемы и предпосылки:
Авито, как крупнейший классифайд, столкнулся с критическими вызовами в области модерации:
- Строгие регламенты, что можно продавать через онлайн-площадки – нарушение этих требований может привести к блокировке платформы.
- Ежедневно на платформу загружается около 20 миллионов объявлений, включая как новые, так и обновления существующих. 70-80% контента поступает через автоматические загрузки.
- Пользователи ищут пути обхода правил, заменяют буквы символами, размещают контактную информацию на картинках или неочевидно дублируют объявления.
- Необходимо публиковать легитимный контент быстро при сохранении качества проверки.

Решение:
Разработана многоуровневая система автомодерации с сотнями собственных ML-моделей. Модели в 95% случаев определяют, нарушает объявление правила платформы или нет. Если проводить аналогию со светофором, то дает зеленый или красный свет. Для оставшихся 5% объявлений модели не могут достоверно принять решение, поэтому помечается желтым светом и отправляются на ручную модерацию
Модели работают с текстом, изображением, видео, обезличенными данными пользователя и историей активности. Они находят запрещенные слова с изменением букв, определяют дубли фото и видео, выявляют подозрительные и мошеннические паттерны поведения.

Система работает в несколько этапов:
1. Сбор информации
- Анализ текста и заголовка
- Обработка изображений и видео
- Сбор информации о пользователе
- Поиск похожих объявлений
- Анализ контекстной информации
2. Многоуровневый анализ
- Базовые проверки
- Анализ изображений
- Анализ видео
- Выявление дубликатов
- Проверка соответствия правилам категорий
3. Принятие решений
- Автоматическое одобрение легитимного контента
- Автоматическое отклонение при обнаружении нарушений
- Передача сложных случаев на ручную модерацию
- "Мягкая модерация" – автоматическое исправление незначительных нарушений.

Ключевые особенности:
- "Мягкая модерация": Система может автоматически исправлять проблемы. Например, если на фото обнаружен телефон, система использует алгоритмы для его удаления.
- Превентивная проверка: Система анализирует контент на этапе создания объявления, предоставляя обратную связь о проблемах.
- Адаптивные правила: Система учитывает специфику категорий товаров. Правила обработки дубликатов различаются для разных типов объявлений.

Архитектура решения:
- Конвейер проверок с моделями машинного обучения
- Комбинация собственных разработок и открытых решений
- Распределенная система обработки
- Интеграция с системами платформы

Инновационный подход:
1. Интеллектуальное редактирование контента: Способность не только выявлять нарушения, но и исправлять их.
2. Масштабируемая архитектура: Возможность обрабатывать растущие объемы контента.
3. Адаптивные алгоритмы: Настройка правил под специфику категорий.
4. Комплексный анализ: Объединение результатов работы сотен моделей.
5. Превентивная проверка: Анализ на этапе создания объявления.

Результаты:
Количественные показатели:
- Автоматическая обработка более 95% контента
- Среднее время проверки объявления – менее 4 минут
- Поддержка роста объема контента без увеличения штата модераторов
- Обработка более 20 миллионов версий объявлений ежедневно
- Сокращение числа некорректно отклоненных объявлений

Качественные улучшения:
- Обеспечение безопасности платформы
- Улучшение пользовательского опыта
- Поддержка различных бизнес-моделей и категорий товаров
- Создание уникальной экспертизы

Перспективы развития:
- Расширение возможностей "мягкой модерации"
- Увеличение доли автоматической обработки
- Развитие превентивных проверок
- Совершенствование алгоритмов обработки сложных случаев

Система автомодерации Авито – это уникальное решение, сочетающее высокую степень автоматизации, инновационные подходы к обработке контента и способность эффективно масштабироваться с ростом платформы. Планируемый запуск внешнего API позволит масштабировать накопленную экспертизу за пределы компании, предоставляя передовые технологии модерации другим участникам рынка.

Эффективность для бизнеса

Система проверяет более 20 млн объявлений ежедневно. Это позволило сократить среднее время проверки до 4 минут, поддерживать рост платформы без увеличения штата модерации, улучшить безопасность и пользовательский опыт.