https://s3-us-west-2.amazonaws.com/secure.notion-static.com/38f73c7f-e444-49b0-b440-c8798bd6b4d2/HR_Avatar_Render_lypsync_tshirt.mp4
Компания: Сбер ARVR Lab Вакансия: UE4 C++ Developer на проект с MetaHuman Город: офис в Москве или удалёнка, штат или проектная работа Вилка зп:
Мы исследовательское подразделение Сбера в области AR и VR. Сегодня 80% наших проектов связаны с примененеим алгоритмов искусственного интеллекта. Большая часть этих алгоритмов используется для отображаения AR на смартфонах и кастомных девайсах (SberBox, SberPortal). Мы так же работаем в направлении цифровых аватаров и реконстурукцией 3D-моделей по набору фотографий — фотограмметрия, и объемными видео — 4D-video, volumetric video. Эти направления у нас активно развиваются, поэтому мы усиливаем нашу команду цифровых аватаров и открываем позицию разработчика UE4 C++ Developer. Мы ищем людей как в штат, так и на проектную работу. Пишите, если вам интересны наши задачи и мы обсудим формат вашего участия.
В лаборатории разработаны алгоритмы на основе нейросетей, которые способны сгенерировать анимации лица, губ, шеи и тела по предоставленному звуковому файлу записи человеческой речи. Чтобы применять эти разработки на проекте Epic Games MetaHuman, мы разработали плагин для UE 4.26+, который применяет полученные анимации к виртуальному аватару и синхронизирует со звуковым файлом.
В настоящий момент, функционал доступен только в режиме постоянного доступа к облачному сервису, без возможности сохранить полученные анимации в редакторе и переиспользовать их и редактировать.
Кандидату предстоит развивать плагин: