Разработка для Apple Vision Pro

Разработка под Apple Vision Pro

С тех пор как Apple, наконец, выпустили первую партию своих гарнитур, интернет наполнился видео, в которых люди в разных обстановках (на улице, дома, в машине, самолёте или вагоне метро) используют новомодную гарнитуру. Её ждал весь мир более 4 лет. Вокруг неё ходило множество слухов. Ранее мы уже писали о том, в чём же её особенности, и почему это может стать огромным шагом навстречу расширенной реальности.

Сегодня мы расскажем:

• о том, как выглядит процесс разработки для Apple Vision Pro;
• что необходимо знать перед тем, как приступить к разработке;
• что нужно, чтобы в итоге получить классное XR-/MR-/VR-приложение.

Подход

Apple, следуя своему стилю, пытается сразу захватить пальму первенства во всей сфере XR. Для этого они пользуются старым проверенным способом — заново «открывают» разнообразные понятия, как бы со своей перспективы. Например, парадигму расширенной реальности, совмещённую с различными подходами к вычислениям и обработке информации, они объединили в термин spatial computing (пространственные вычисления). Также они поступили и с известными терминами AR (дополненная реальность) и VR (виртуальная реальность), заменив на immersive experience (опыт погружения) и fully immersive experience (опыт полного погружения) соответственно). Для поддержки различных функций, необходимых для получения этих видов опыта, они также дали возможность регулировать «перемещение» между форматами (от режима камеры до виртуальной реальности), используя специальный ползунок — 3D volume controller (переключатель уровня погружения).  

Vision OS

Для поддержки и запуска приложений на устройстве была разработана операционная система Vision OS, а также доработана платформа, использующая ARKit, RealityKit, SwiftUI для запуска, размещения, отображения и обработки виртуальных объектов и сцен.

Разработка под Apple Vision Pro

Для разработки под Apple Vision Pro вы можете использовать:

• Apple Native Framework
• Unity
• Reality Composer Pro

Unity добавили инструмент PolySpatial, который реализует основную работу за разработчика и отвечает за перенос материалов, рендеринг мешей, эффектов и спрайтов.

Основные нюансы

Основные нюансы в разработке для Apple Vision Pro заключаются в переосмыслении подходов к пользовательским интерфейсам. В этом может сильно помочь расширенное понимание пользовательского опыта с точки зрения пространственных вычислений, которое транслируют Apple. Самый простой способ получить доступ к нему — гайдлайны для разработки под VisionOS.

И, конечно же, всё это должно «наслаиваться» на уже существующие лучшие практики в разработке виртуальной и дополненной реальности.

Как работает Apple Vision Pro?

Чтобы ответить на этот вопрос, нужно понимать возможности, которыми обладает Apple Vision Pro:

• spatial recognition и spatial-трекинг (распознавание и отслеживание пространства),
• построение трехмерных карт на базе полученных данных для создания occlusion maps (карта оклюзий),
• распознавание и отслеживание рук,
• отслеживание зрачков.

Что можно разрабатывать на Apple Vision Pro?

Vision Pro — универсальное устройство для бизнеса, которое можно использовать для демонстрации приложений виртуальной, дополненной и смешанной реальности. С помощью этого устройства можно разрабатывать:

• ассистентов в смешанной реальности,
• обучающие приложения,
• тренажёры,
• каталоги,
• гиды,
• приложения для совместной работы над трёхмерными и инженерными моделями,
• приложения для визуализации архитектуры и многое другое.

 

Обучающие приложения в смешанной реальности