AR/VR-приложение для Skyeng и SberDevices

«Английский с Элом» – один из пилотных проектов SberDevices. Поэтому нам предстояло изучить сам портал и его движок, а еще протестировать работу и вместе с командой заказчика спроектировать необходимые модули для поддержки AR-функциональности.

Мы сосредоточились на проектировании максимально сбалансированного и разумного решения: от создания интерфейсов пользователя до разработки приложения на Unity и интеграции персонажа — марсианина Эла — в экосистему Sber.

В основе приложения лежит обучение английскому языку с помощью модели Edutainment. Этот подход совмещает существующие интерактивные методы и технологии работы, а также новые диджитал-технологии и геймификацию учебного процесса.

В «Английском с Элом» ребёнок осваивает первые 135 английских слов с помощью карточек и общения с виртуальным героем. Система распознаёт речь ребёнка (с британским и американским акцентом) и карточки под камерой, помогая ему в изучении иностранного языка. Он отправляется в увлекательное путешествие с марсианином Элом, посещая консервативный Лондон и королевский Букингемский дворец, демократичную Америку и красочную Бразилию.

Мы разработали Unity-приложение, в котором воплотилась в жизнь задумка дизайнеров и методистов:

— Дизайн приложения — от базовых UI-элементов и игровых локаций (карта мира, стран, игровых уровней) до сложных анимаций персонажа.

— Голосовой дизайн приложения и таксономию эмоций персонажа.

— Логику и механику игры:

• Синхронизировали озвучку и анимацию персонажа в игре.

• Настроили навигацию внутри приложения (переходы между локациями и уровнями).

• Провели сложную интеграцию с библиотекой распознавания карточек, разработанной Sber AR/VR Lab.

• Интегрировали backend-сценарий для внедрения голосового управления в игру.

• Научили игру распознавать голосовые команды игрока и выполнять действия по этим командам.

• Спроектировали принципы взаимодействия между игрой, сторонними сер

Эффективность для бизнеса

«Английский с Элом» — вторая по популярности игра в наборе Kidsar. Еженедельная возвращаемость в приложение 10%, а за все время приложением воспользовались более 4000 детей.