Разработка для Apple Vision Pro

С тех пор как Apple наконец выпустили первую партию своих гарнитур, интернет наполнился видео, в которых люди в разных обстановках (на улице, в доме, в машине, в самолете, в поезде метро) используют новомодную гарнитуру. Эту гарнитуру весь мир ждал более 4-х лет, и вокруг нее ходило множество слухов и спекуляций. Ранее мы уже писали о том, в чем же ее особенности, и почему это может стать огромным шагом навстречу расширенной реальности.

Сегодня мы расскажем вам о том, как выглядит процесс разработки для Apple Vision Pro, что необходимо знать перед тем как к ней приступить, и что нужно, чтобы в итоге получить классное XR (MR, VR) приложение.

Подход

Apple, следуя своему духу, пытается сразу захватить пальму первенства во всей сфере XR. Для этого они пользуются старым проверенным способом – заново “открывают” разнообразные понятий, как бы со своей перспективы. Например, парадигму расширенной реальности совмещенную с различными подходами к вычислениям, и обработке информации, они объединили в термин “Spatial computing” – пространственные вычисления. Также они поступили и с известными терминами AR (дополненная реальность) и VR (виртуальная реальность) заменив их на соответственно на immersive experience и fully immersive experience (опыт погружения, и опыт полного погружения соответственно). Для поддержки различных функций, необходимых для получения этих видов опыта они также дали возможность регулировать “перемещение” между форматами, от режима камеры, до виртуальной реальности, используя специальный ползунок – 3D volume controller (переключатель уровня погружения).  

Для поддержки и запуска приложений на устройстве, была разработана операционная система Vision OS, а также доработана платформа, использующая ARKit, RealityKit, SwiftUI для запуска, размещения, отображения и обработки виртуальных объектов и сцен.

Разработка под Apple Vision Pro

Для разработки под Apple Vision Pro вы можете использовать:

• Apple Native Framework
• Unity
• Reality Composer Pro

Unity добавили инструмент PolySpatial, который реализует основную работу за разработчика, отвечая за перенос материалов, рендеринг мешей, эффектов и спрайтов.

Основные нюансы разработке под Apple Vision Pro относятся к переосмыслению подходов к пользовательским интерфейсам. В этом может сильно помочь расширенное понимание пользовательского опыта с точки зрения пространственных вычислений, которое транслируют Apple. Самый простой способ получить доступ к нему – гайдлайны для разработки под VisionOS.

И конечно же, все это должно “наслаиваться” на уже существующие лучшие практики в разработке виртуальной и дополненной реальности.

Как работает Vision Pro

Для того чтобы ответить на этот вопрос, нужно понимать возможности, которыми обладает Apple Vision Pro:

• Spatial recognition и spatial тракинг (распознавание и отслеживание пространства)
• Построение трехмерных карт на базе полученных данных, для создания occlusion maps (карта оклюзий)
• Распознавание и отслеживание рук
• Отслеживание зрачков

Vision Pro – универсальное устройство для бизнеса, которое можно использовать для демонстрации приложений виртуальной, дополненной и смешанной реальности. С помощью этого устройства можно разрабатывать:

• Ассистенты в смешанной реальности
• Обучающие приложения
• Тренажеры
• Каталоги
• Гиды
• Приложения для совместной работы над трехмерными и инженерными моделями
• Приложения для визуализации архитектуры

И многое другое.

 

Обучающие приложения в смешанной реальности