Unreal выпустила приложение для iPhone, которое захватывает мимику лица для Unreal Engine +5



Студия Unreal выпустила приложение для iOS, которое считывает лицевую мимику пользователя и анимирует её на персонаже для Unreal Engine в режиме реального времени. Оно получило название Live Link Face; по словам разработчиков, приложение предназначено как для профессиональных съёмок методом motion capture, так и для любительских, например, для стриминга, сообщается на сайте Unreal. 

Live Link Face уже доступно для скачивания в App Store. Приложение использует технологию дополненной реальности ARKit и систему камер TrueDepth в iPhone X и новее, включающую в себя фронтальную камеру, инфракрасную камеру, проектор точек и инфракрасный излучатель. Полученные с помощью них данные приложение передаёт на ПК, которые обрабатывает их и использует для построения анимации мимики лица. 

Приложение передаёт данные с iPhone на ПК через многоадресную сеть, которая позволяет синхронизироваться одновременно с несколькими устройствами. Для этого оно использует технологию Tentecle Sync, которая позволяет синхронизировать устройства с одним устройством, которое ведёт учёт времени съёмки. Кроме того, в Live Link Face есть поддержка протокола OSC (Open Sound Control), с помощью которого пользователи смогут начать запись на нескольких iPhone одним касанием. 

Разработчики обещают, что набор функций приложения весьма широк и позволяет использовать в различных сценариях. Так, например, оно поможет стримерам, которые предпочитают показывать свои цифровые аватары на трансляции, поскольку Live Link Face может выполнять естественную настройку и учитывать вращения головы без необходимости надевать специальное оборудование для motion capture. 

Unreal не упоминает, разрабатывается ли аналогичное приложение для Android. Как пишет Engadget, это может быть связано с большим количеством различных настроек фронтальных камер, которые можно увидеть в смартфонах от разных компаний. Кроме того, пока неясно, будет ли работать приложение на iPhone без технологии TrueDepth. 

Студия отметила, что продолжит делать Unreal Engine более доступным, назвав это одной из своих приоритетных целей. По словам разработчиков, выпуск Live Link Face — один из шагов к этому, позволяющий сделать технологию motion capture более простой для создателей контента.




Комментарии (6):

  1. Alexsey
    /#21840348

    Ну как-то совсем не серьезно. FaceRig'у уже сколько лет? И хватает ему обычной вебки, а если хочется более точного захвата то есть поддержка RealSense.

    • Newbilius
      /#21840656

      Ну скажем так, по моему опыту FaceRig работает нормально для использования "по приколу", но в продакшен этого качества не хватает. Может нужны камеры не трёхкопеечные, не знаю.


      Девайсы с RealSense тоже стояит ощутимо больше копеечной вебки.


      А айфон, условно, есть у каждого третьего разработчика/дизайнера/художника в кармане, т.е. в игровой студии у кого-нибудь он почти точно найдётся. Нет, если пришлось бы покупать железо под это дело — разумнее почти наверняка было бы взять девайс с RealSense, а не айфон. Но задействовать уже имеющееся железо в новом качестве — отличная же идея :)

  2. /#21840390 / +1

    Интересно, как скоро они расширят приложение, чтобы можно было захватывать движения тела

  3. foxyrus
    /#21840724 / +1

    Качество пока так себе

    • subcommande
      /#21843686

      Мокап надо настраивать под каждого человека. По сетке на лице видно, что захват ведется правильно, но конкретно ваша мимика плохо передается на риг из-за различия пропорций.

  4. unel
    /#21844298 / +1

    Хм, что-то на картинке из статьи я не уловил исходной мимики на отрисованном лице, прям совсем :-/ Особенно не совпадает положение бровей и губ