Meta постепенно превращает Quest 3 и Quest 3S из гарнитур для просмотра MR-контента в устройство, которое может анализировать реальную сцену. Ключевой сдвиг связан с Passthrough Camera API: разработчик получает доступ к RGB-камерам гарнитуры и может подключать собственные модели компьютерного зрения.
Для бизнеса это важнее, чем очередная функция в SDK. Раньше MR-приложение хорошо понимало стены, пол и базовую геометрию пространства. Теперь оно может видеть конкретные объекты: кабель в неправильном порту, деталь оборудования, упаковку, жест, инструмент, музейный экспонат или продукт на стенде. Значит, MR-сценарий можно строить вокруг реального процесса, а 3D-модель становится частью рабочей подсказки.
Что именно изменилось
В документации Meta Passthrough Camera API описан как доступ к forward-facing RGB-камерам Quest 3 и Quest 3S для сценариев Computer Vision и Machine Learning. Страница документации обновлена 21 апреля 2026 года. Meta отдельно подчёркивает, что это не то же самое, что Media Projection API: новый API нужен не для записи того, что видит пользователь, а для прикладного анализа изображения внутри MR-приложения.
В практическом смысле это даёт разработчику три слоя данных:
- изображение с внешних RGB-камер гарнитуры;
- пространственный контекст Quest: сцена, поверхности, глубина, положение пользователя;
- собственную CV/ML-логику: детекция объектов, классификация, проверка положения, чтение маркеров, подсказки AI-ассистента.
Meta приводит ограничения, которые важно учитывать на старте: поток до 60 Hz, максимальное разрешение 1280 на 1280, внутренний формат YUV420 и дополнительная нагрузка на память. Это не отменяет коммерческих сценариев, но сразу задаёт рамки: нужно проектировать лёгкую модель, понятный pipeline обработки и проверять задержку на реальном устройстве, а не ограничиваться Unity Editor.
Почему это полезно для корпоративного MR
Сильная сторона mixed reality в бизнесе не в том, что пользователь видит красивые голограммы. Польза появляется, когда цифровой слой помогает выполнить действие: найти деталь, проверить ошибку, собрать комплект, объяснить продукт, пройти обучение или оставить доказательство выполненной операции.
До доступа к камерам многие такие сценарии требовали обходных путей: отдельного смартфона, внешней камеры, ручного ввода, QR-меток на каждом объекте или заранее подготовленной сцены. Passthrough Camera API не убирает всю сложность, но сокращает разрыв между реальным объектом и MR-интерфейсом.
Где бизнес может применить доступ к камерам Quest
Промышленный сервис и контроль операций
Самый прямой сценарий: специалист надевает Quest 3S, смотрит на оборудование, а система проверяет, что он видит. Meta в своём блоге приводит пример CGS Immersive: гарнитура используется для анализа серверов и проверки правильности подключения fiber cables. Система анализирует изображения с камер Quest 3S и помогает технику увидеть, где кабель оказался не в том порту.
Для промышленности и телеком-процессов это переводит MR из демонстрации в инструмент контроля. Приложение может подсвечивать нужный узел, просить сделать повторную проверку, сохранять скриншот для отчёта, собирать доказательство выполнения регламента и передавать данные в внутреннюю систему.
VR- и MR-тренажёры с проверкой действий
В обучении важно показать инструкцию и убедиться, что человек сделал правильный шаг. Если модель распознаёт инструмент, положение детали или типовую ошибку, тренажёр может реагировать точнее: остановить сценарий, дать подсказку, записать ошибку в отчёт, адаптировать следующий блок.
Для LikeVR это естественно связано с разработкой VR-тренажёров и проектами вроде VR-тренажёра для обучения управлению дронами. В MR-версии такого подхода пользователь может работать с реальным пультом, макетом или стендом, а система будет оценивать не абстрактный клик, а действие в физическом пространстве.
Выставочные стенды и продуктовые демонстрации
На стенде посетитель смотрит на оборудование, макет, упаковку или деталь. MR-приложение распознаёт объект и показывает именно тот слой, который нужен сейчас: устройство внутри корпуса, варианты комплектации, анимацию работы, сравнение режимов, расчёт выгоды, короткую форму для лида.
Это особенно полезно для сложных B2B-продуктов. Человек не читает длинный буклет и не ждёт свободного менеджера. Он видит продукт, задаёт вопрос, получает визуальную подсказку и может оставить контакт. Такой сценарий можно связать с интерактивными киосками, тач-панелями и AI-консультантом на стенде.
Музеи, образование и навигация по экспозиции
В культурных проектах камера помогает понять, на какой объект смотрит посетитель. Дальше включается сценарий: краткое объяснение, детская версия, исторический слой, реконструкция, голосовой гид, вопрос для квеста. Такой подход хорошо стыкуется с AR-гидом, но даёт более свободный hands-free формат.
Релевантные кейсы LikeVR: AR-гид для выставки «Кустодиев» и AR-приложение «Ожившие картины» для Пушкинского музея. Если добавить распознавание экспонатов и персональные подсказки, экскурсия становится ближе к диалогу, а не к линейному аудиогиду.
Ритейл, примерка и проверка выкладки
Для ритейла camera-based MR может распознавать товар, полку, упаковку, положение POS-материалов или комплектность набора. Это не всегда требует гарнитуры для конечного покупателя. Иногда Quest нужен промоутеру, мерчандайзеру, обучающему специалисту или команде, которая готовит демонстрационный формат для сети.
Здесь важна честная оценка: если задачу можно решить WebAR на смартфоне, не нужно усложнять её гарнитурой. Quest оправдан там, где нужны свободные руки, пространственная привязка и длительная работа с объектами.
Как может выглядеть пилот
Пилот не стоит начинать с выбора гарнитуры как главного решения. Сначала нужно выбрать операцию, где ошибка дорого стоит или где визуальная подсказка действительно сокращает время.
Рабочая схема обычно выглядит так:
- выбрать один процесс: проверка подключения, сборка узла, обучение процедуре, демонстрация продукта;
- собрать фото- и видео-примеры реальной сцены, включая плохой свет, разные руки, разные углы, шумный фон;
- определить, что именно должна распознавать модель: объект, состояние, положение, ошибку, маркер или последовательность действий;
- сделать прототип в Unity под Quest 3/3S, связав Passthrough Camera API, Scene API, Depth API и интерфейс подсказок;
- протестировать задержку, стабильность распознавания, читаемость подсказок и безопасность данных;
- решить, что остаётся локально на устройстве, а что уходит в облако или корпоративную систему.
Сколько времени и бюджета закладывать
Точная оценка зависит от качества датасета, сложности распознавания и интеграций. Но для планирования можно использовать три уровня.
Быстрый технический прототип
Срок: 3-5 недель. Цель: проверить, видит ли гарнитура нужный объект, выдерживает ли модель задержку, читается ли MR-интерфейс. Это подходит для одной сцены, одного типа объекта и минимальной интеграции.
Пилот на реальном процессе
Срок: 6-10 недель. Здесь уже нужны сценарий, тестовая группа, подготовка 3D/UI, первичный датасет, отчётность, метрики ошибок и проверка в условиях площадки. Такой формат подходит для обучения, сервиса, выставочного стенда или промышленной проверки.
Производственное внедрение
Срок: от 3 месяцев. Добавляются роли пользователей, аналитика, интеграция с CRM, LMS, ERP или сервисной системой, обновление моделей, политика хранения данных, поддержка устройств и документация для команды.
Главные риски
Качество распознавания. Модель, которая хорошо работает на чистом датасете, может ошибаться на площадке: другой свет, грязь, бликующие поверхности, перекрытые объекты, похожие детали.
Задержка. Для подсказки в обучении задержка в сотни миллисекунд может быть терпимой. Для контроля операции или навигации по деталям она уже мешает. Поэтому pipeline надо измерять на устройстве.
Приватность и безопасность. Камера видит рабочую среду, людей, документы, оборудование. Нужны правила: что обрабатывается локально, что сохраняется, что отправляется на сервер, как обезличиваются данные.
Перегруз интерфейса. MR легко испортить лишними стрелками, карточками и подсветками. Пользователю нужен следующий шаг, а не демонстрация всех возможностей SDK.
Зависимость от конкретной платформы. Passthrough Camera API актуален для Quest 3 и Quest 3S. Если проект должен жить несколько лет, архитектуру лучше делать модульной: отдельный слой CV, отдельный слой сценариев, отдельный слой устройств.
Как LikeVR может помочь
LikeVR может собрать такой проект не как «приложение под гарнитуру», а как рабочий инструмент под бизнес-процесс. В проект могут войти:
- проектирование MR-сценария для обучения, сервиса, продаж, выставки или контроля качества;
- компьютерное зрение для распознавания объектов, действий, ошибок и состояний;
- AI/ML-разработка, включая лёгкие модели для локального выполнения;
- подключение LLM-ассистента, базы знаний или голосового интерфейса;
- 3D-контент, интерфейс подсказок, анимации и обучающие сценарии;
- интеграция с CRM, LMS, сервисной системой, аналитикой или формой сбора заявок;
- тестирование на Quest 3/3S и подготовка пилота для реальных пользователей.
По смыслу это близко к кейсам AI-ассистента на базе LLM и Whisper, AI-киоска с генерацией изображений через голосовые промпты, AI-консультанта Марти, Nissan XR и 3D-карты с AR-порталами для Husmann.
Чеклист перед стартом
- Есть один понятный процесс, где MR-подсказка экономит время или снижает риск.
- Можно собрать примеры реальных изображений для CV-модели.
- Понятно, какие данные нельзя сохранять или отправлять в облако.
- Есть метрика пилота: время операции, число ошибок, качество обучения, количество лидов, скорость обслуживания.
- Команда готова тестировать не в идеальной комнате, а там, где приложение будет работать.
- Есть fallback-сценарий: ручная проверка, смартфон, киоск или WebAR, если гарнитура не подходит конкретной аудитории.
Частые вопросы
Passthrough Camera API работает на всех Quest?
Ориентироваться нужно на Quest 3 и Quest 3S. Именно эти устройства Meta указывает в документации Passthrough Camera API для доступа к forward-facing камерам в сценариях CV/ML.
Можно ли сделать такой проект полностью локальным?
Часть сценариев можно считать локально, особенно если модель небольшая и задача ограничена. Но базы знаний, аналитика, CRM и обновления обычно остаются на сервере. Архитектуру лучше выбирать после теста задержки и требований к приватности.
Чем это отличается от обычного AR на смартфоне?
Смартфон удобен для массового WebAR и быстрых промо-механик. Гарнитура лучше подходит там, где нужны свободные руки, длительная работа с объектом и подсказки прямо в поле зрения.
Нужна ли LLM-модель в каждом MR-проекте?
Нет. Если задача сводится к проверке состояния или подсветке ошибки, достаточно CV-модели и простого сценария. LLM полезна, когда пользователь задаёт вопросы, работает с базой знаний или получает объяснение следующего шага.
С чего начать, если у компании нет датасета?
С короткого обследования процесса и сбора тестовых изображений. Часто первый пилот нужен именно для того, чтобы понять, какие объекты модель должна видеть и насколько стабильна сцена.
Как понять, подходит ли это вашей задаче
Если ваш процесс связан с реальными объектами, ошибками при сборке, обучением сотрудников, сложной демонстрацией продукта или проверкой операций, MR с компьютерным зрением стоит рассмотреть как пилот. LikeVR поможет выбрать формат, оценить риски, собрать прототип под Quest 3/3S или предложить более простой путь: AR на смартфоне, WebAR, интерактивный киоск или VR-тренажёр.
Источники
- Meta Horizon Developers: Passthrough Camera API Overview
- Meta Horizon Developers: Explore a New Era of Mixed Reality with the Passthrough Camera API
- Meta Horizon Developers: Depth API Overview
- Meta Horizon Developers: Unity Scene Overview
