Команда LikeVR провела исследовательские работы, направленные на выявление лучших из существующих подходов и open source решений для трекинга и сегментации лица в браузере.
Мы рассмотрели:
— Tenzorflow.js + face parsing модель от google media pipe (face_landmark_68, face_landmark_68_tiny)
— OpenCV WASM + Pigo face detection model
— transformer.js + face parsing model (full face)
— transformer.js + jeelizFaceFilter + face parsing model NN_LIPS_8
В результате тестов и работ по оптимизации была выявлена наиболее перспективная модель, NN_LIPS_8 с конфигурацией 19 точек
Технологический стек
Frontend: JavaScript, HTML5, CSS3 для разработки пользовательского интерфейса. transformer.js + jeelizFaceFilter для реализации функционала дополненной реальности в браузере.
Backend: При необходимости обработки данных на сервере можно использовать Node.js с TensorFlow.js для выполнения моделей машинного обучения.
Модели машинного обучения: transformer.js + jeelizFaceFilter для парсинга лица, модель NN_LIPS_8 для детекции ключевых точек губ.
 |  |
