Командой LikeVR был реализован проект, дающий пользователю возможность общения голосом с виртуальным персонажем в реальном времени. Решение было использовано на стенде компании на выставке ПМЭФ, и было предназначено для привлечения внимания, и автоматизации общения с посетителями в формате консультанта. Решение было реализовано на базе движка Unity и включало несколько модулей:
- Трехмерная сцена с виртуальным персонажем, с ригом тела и лицевым ригом. Лицевой риг работал в связке с lip sync модулем Salsa. Также, отдельно были доработаны некоторые анимации фонем
- Модуль распознавания голоса в текст
- Интеграция GigaChat API, через которую полученный текст отправлялся в гигачат, а также получался ответ от него. Дополнительно был настроен контекст коммуникации шаблон промпт-сета, и настроен доступ к библиотекам, хранящим данные, используемые в ответах (информация о компании и т.д.)
- Локально используемая модель Whisper, для которой был настроен голос виртуального ассистента. Модуль предназначен для озвучивания текста, полученного от гигачата.
Среднее время ответа, в зависимости от объема запроса и ответа составило 1,8 с
