Внедрение трансформерной модели персонализированных рекомендаций на Авито

Персонализированные рекомендации – один из ключевых элементов взаимодействия пользователей с Авито. Улучшение их точности существенно влияет на качество пользовательского опыта и повышает бизнес-показатели.

Ранее лента рекомендаций Авито формировалась с помощью простого эвристического алгоритма, основанного на подсчете взаимодействий пользователя с объявлениями в разных категориях. У этой модели был ряд ограничений, снижающих точность прогнозирования:

- Неспособность эффективно отслеживать смену интересов пользователей со временем.
- Одинаковая оценка моделью всех действий пользователей, независимо от типа (просмотр, избранное, контакт) и источника (поиск, рекомендации).
- Неспособность прогнозировать интерес к новым категориям (рекомендовались только категории, в которых ранее уже были совершены действия).

В качестве решения была с нуля разработана система, использующая нейросеть с архитектурой трансформера. Нейросеть обучили всего за один день на одном графическом процессоре на обезличенных данных о действиях пользователей – несколько миллиардов записей. В отличие от традиционных рекуррентных нейросетей, трансформер позволяет анализировать длинные последовательности действий пользователей и сложные взаимосвязи между ними.

- Нейросеть обрабатывает данные о просмотрах, добавлениях в избранное, контактах и других действиях, присваивая различный вес каждому типу взаимодействия и учитывая их временной контекст.
- Она анализирует расширенный набор параметров – к примеру, учитываются отличия между разными категориями товаров и услуг в рамках предложений одного типа.
- Если после нескольких просмотров в одной категории пользователь совершил контакт с продавцом, и потом переключился на действия в другой категории, модель поймет, что пользователь уже совершил сделку.

Все это позволило системе точнее предсказывать действия пользователей, предугадывать их интересы и формировать персональную ленту рекомендаций с учетом этого прогноза.

Среди достоинств решения – его эффективность и простота.

- По современным стандартам модель исключительно легковесна – всего 1.5 млн. параметров
- Базовая архитектура обеспечивает высокую скорость работы при сохранении качества предсказания следующего действия.
- Модель обладает высокой производительностью и обрабатывает до 200 тыс. запросов в минуту на пиковых нагрузках, при этом время обработки одного запроса составляет около 10 мс. Таким образом, на формирование полного набора рекомендаций уходит не более 500 мс.
- Решение интегрировано в микросервисную архитектуру Авито как отдельный сервис, обеспечивая отказоустойчивость и гибкость использования другими продуктовыми командами.

Инновационный подход:
- На Авито представлен уникальный по своему разнообразию ассортимент товаров и услуг. В отличие от традиционных рекомендательных систем, которые фокусируются на рекомендации конкретных товаров, наша модель работает на мета-уровне, определяя оптимальный баланс категорий для каждого пользователя.
- Модель способна адаптировать свои рекомендации как для длительных циклов выбора (недвижимость, автомобили), так и для моментальных решений (услуги).
- Модель учитывает не только количество действий, но и их тип, источник, временные паттерны и взаимосвязи между категориями, что позволяет точнее предсказывать интересы пользователя.
- Персонализация контента на классифайде с аудиторией более 70 млн. ежемесячных пользователей потребовала создать специализированные решения для обработки больших объемов данных и обеспечить высокую производительности системы.
- В отличие от предыдущего решения на основе эвристик, новая модель может постоянно совершенствоваться за счет добавления новых сигналов и оптимизации под специфику различных категорий.

Эффективность для бизнеса

Новая технология Авито на базе нейросети-трансформера глубже анализирует поведение пользователей и персонализирует рекомендации. Это увеличило ежедневное число сделок в некоторых категориях до 10%, а CPC-выручку – на 2%