AR презентация A-class.
ИДЕЯ СОЗДАНИЯ AR-СПЕКТАКЛЯ
На тот момент мы вели несколько проектов, в том числе — проект для РЖД с 30 активностями в дополненной реальности с применением object tracking от AR kit. С помощью AR kit мы решали задачу определения местоположения объекта с помощью камеры устройства и наложение на этот объект требуемой графики/видео в дополненной реальности. Это был проект ПВЛК РЖД — передвижной выставочно-лекционный комплекс. Проще говоря — поезд, курсирующий по стране, рассказывающий историю этих самых железных дорог.
В ходе реализации этого проекта, мы наработали достаточные компетенции в сфере object tracking. С учетом накопленного опыта, мы могли реализовать предложенную концепцию. Для пользователя это бы выглядело так: он видит на месте реального автомобиля такого же размера фотореалистичную 3D модель с выбранной им в приложении конфигурацией с помощью дополненной реальности. Это бы позволило нативно демонстрировать те изменения, которые вносит пользователь, выбирая в конфигураторе нужную комплектацию. Мы предложили к разработке приложение-конфигуратор с возможностью показать опции комплектации (варианты кузова, цвета, дисков), голосовым вводом, симуляцией человеческого общения, контактом с пользователем, встроенной аналитикой.
В интерфейсе приложения происходит интерактивный спектакль: интерфейс похож на мультимедиа панель автомобиля, во время использования приложения с пользователем говорит диктор, в беззвучном режиме речь дублируется в формате мессенджера, в качестве интерактива — всплывающие иконки, фото и видео.
https://drive.google.com/open?id=1LpPytizr9wxbU3B6vu1k7EPLRJ9vwNlL
https://drive.google.com/open?id=15tVX49bZkM96f4Q8r51KQE3FoHvAm6qu
Референсом для заказчика послужили — Apple park AR и наш кейс для РЖД.
Данная концепция была согласована заказчиком и мы приступили к работе.
https://drive.google.com/open?id=1kjT4AnhrWEXiIynLgpnz3qXp0LyqIr00
ЦЕЛИ И ЗАДАЧИ
Целью проекта была презентация нового автомобиля Mercedes-Benz A-Класса с использованием технологии дополненной реальности в формате иммерсивного представления. Каждый пользователь должен был получить персонализированный опыт взаимодействия с автомобилем с демонстрацией достоинств автомобиля.
Одной из задач была разработка мобильного приложения для планшета с дополненной реальностью.
Также необходимо было создать фотореалистичный рендер 3D модели, накладываемый поверх автомобиля, чтобы у пользователя был полноценный опыт взаимодействия как будто с настоящим объектом. Для этого нами было добавлено влияние освещения, отражений пространства автомобильного салона, свет фар.
ЦА проекта — посетители флагманского салона продаж Mercedes-Benz на Ленинградском проспекте в Москве.
Реализация проекта заняла 2,5 месяца.
КАК СТРОИЛАСЬ РАБОТА НАД СОЗДАНИЕМ AR-СПЕКТАКЛЯ
После согласования концепции, мы приступили к работе: подготовили контент, трехмерную графику, UI, механику с object tracking, конфигуратор, встроили голосового помощника, протестировали, все с ходу заработало, на месяц раньше сдали проект и ушли в закат. Это, конечно, шутка.
AR foundation
Так как мы думали, что обладаем наработанной экспертизой для реализации проекта. В качестве платформы выбрали AR Foundation и приступили к разработке.
К концу июля (пол срока реализации проекта) был готов контент и функционал приложения, собрано приложение. На тестах лучший результат выглядел так:
https://drive.google.com/file/d/1aI9kUhA5DEFFS6uryU9T1ud4snenunbL/view?usp=sharing
Поскольку распознавание автомобиля длилось очень долго — 20 секунд, было принято решение привлечь к работе в команде старшего разработчика.
Проблема
Главный вопрос, который перед нами стоял: почему технология, работающая на другом проекте, не работает здесь? Мы провели брейншторм и выработали гипотезы.
Обычно object tracking — тривиальная задача, если объекты маленькие или контрастные, имеют выразительные детали.
Как выглядел наш объект? Это был большой объект, автомобиль. Глянцевый кузов, стекла, камера могла зацепиться только за колеса, молдинги, решетку, этого было мало для качественного object tracking, нам разрешили добавить наклейки на кузов, что облегчило задачу.
Таким образом, были выдвинуты требования к object tracking для качественной его работы:
-распознавание больших и очень больших объектов
-должна быть высокая скорость распознавания, чтобы клиент не потерял желание воспользоваться решением из-за долгого времени ожидания
-стабильность трекинга (модель объекта должна ровно стоять на месте, когда пользователь двигается вокруг нее, не плавать, не трястись)
-отсутствия дрейфа модели
-минимальная нагрузка на процессор (поскольку помимо трекинга были задачи по фотореалистичный рендер, ui)
Поиск
Дальше нужно было выбрать правильную платформу.
Для Unity, на котором осуществлялась разработка, существует большое количество SDK с поддержкой object tracking, из которых мы рассматривали:
-Vuforia
-EasyAR
-VoidAR
-AR Foundation
-ARkit
-Wikitude
Командой были протестированы все решения для поиска наиболее оптимального, которое бы соответствовало всем критериям для object tracking нестандартного большого объекта. Этим решением было ARkit от Apple. Не будем вдаваться в подробности, почему для решения задачи не подходило каждая из перечисленных платформ, скажем только, что это были либо низкая скорость распознавания объекта, либо тряска модели в дополненной реальности, высокая нагрузка на процессор, невозможность распознавания объектов, либо все вместе взятое. ARkit же обеспечивал высокую скорость распознавания, стабильный трекинг, низкую нагрузку на процессор. А как отсканировать огромный объект — нам нужно было придумать самим.
ПРОБЛЕМЫ, С КОТОРЫМИ СТОЛКНУЛИСЬ ПРИ РАЗРАБОТКЕ
Основными проблемами при создании приложения были сканирование большого нестандартного объекта и длительность распознавания.
Для сканирования был использован сканер от Apple (Apple ARkit scanner), к которому прилагаются качественные гайдлайны.
Среди рекомендаций по сканированию было использование самого мощного устройства из доступных. Также, сканируемый объект должен помещаться на поверхность стола.
На самом деле мы искали хитрости, как сделать лучше, не следуя всем гайдлайнам. Все потому, что наша задача не удовлетворяла заданным требованиям (помним про огромный объект для сканирования — автомобиль).
Команда проекта пришла к выводам, что не обязательно сканировать на самое мощное устройство. Конечной задачей являлся сбор такого количества точек, при котором распознавание объекта происходит быстрее всего. А это зависело от мощности устройства — облако точек получалось очень насыщенным или очень бедным. В итоге мы сканировали на IPhone X вместо IPhone XS. А также, everything is table if you are brave enough. Так мы разрушили миф о том, что можно сканировать только небольшие предметы.
Итак, мы создали такой скан 3D модели, который распознавался за 4-5 секунд.
РЕЗУЛЬТАТЫ
Приложением с дополненной реальностью воспользовались около 150 посетителей автосалона (65% — мужчины),. По словам заказчика, конверсия в полное прохождение сценария составила около 90%.
Проект позволяет «здесь и сейчас» создать нужную комплектацию автомобиля, без необходимости ездить в другие салоны, чтобы посмотреть подходящий автомобиль. Можно создать комплектацию «мечты» прямо на месте и заказать автомобиль в приложении.
Приложение в формате иммерсивного спектакля предлагает опции комплектации в зависимости от пола, увлечений и предпочтений пользователя и заменяет реального продавца.
