Quest Pro的眼动追踪和面部追踪可以做什么?

Quest Pro的眼动追踪和面部追踪可以做什么?

Quest Pro的眼动追踪和面部追踪可以做什么?

借助 Quest Pro,Meta 引入了新的头像界面,可以更好地反映用户的面部表情和身体动作

在 Meta Connect 2022 上,Meta 推出了 Movement SDK,允许开发者在他们的 VR 应用中实现以下功能:

  • 人脸追踪(使用 Meta Quest Pro)
  • 眼动追踪(使用 Meta Quest Pro)
  • 身体追踪(使用 Meta Quest Pro 和Meta Quest 2)

Quest Pro 的面部和眼动追踪

眼动追踪和面部追踪功能利用 Meta Quest Pro内部的五个新红外传感器。也就是说,三个瞄准眼睛和脸的上部,两个瞄准脸的下部。

预训练的 AI 模型基于面部动作编码系统 (FACS) 从抽象传感器数据中获取面部表情,这是一种广泛使用的人类面部表情编码方法。开发人员可以将面部表情映射到各种化身。无论是漫画还是现实,人类还是幻想,都没有关系。

Meta 创建了两个头像示例供开发人员进行试验。一个是Alien Aura,如你所见,它可以代表一系列逼真的面部表情。

眼动追踪还可以进行目光接触或新的互动形式。面部和眼动追踪默认关闭,必须由用户在设置中激活。根据 Meta 的说法,传感器数据保留在设备上,一旦不再需要数据处理,就会被删除。

全身追踪

Quest 2和Meta Quest Pro支持全身追踪。这个词有点误导。事实上,这个功能只包括头部和手部的动作。耳机不会记录臀部、腿或脚的运动。

运动 SDK 的身体跟踪功能将运动数据传输到Avatar,使其看起来尽可能自然

机器学习在这里也发挥了作用。“我们使用真实人体运动的大型数据集来纠正逆运动学或基于 IK 的方法中常见的错误,”Meta 产品经理 Vibhor Saxena 解释说。逆运动学方法来自机器人学,描述了基于有限数据点的肢体空间关系的机器估计。

目前, Meta Horizo​​n 产品已经使用了这种身体追踪功能。现在它可供开发人员使用,因此将在除 Horizo​​n Home、Worlds 和 Workrooms 之外的其他 VR 应用程序中启用更逼真的化身,而无需开发人员编写自己的 IK 模型。该系统是灵活的。它可以在手和控制器跟踪之间无缝切换,并且可以映射到不同形状的骨架。

“我们使用大量真实人体运动数据集来学习和纠正逆向运动学或基于 IK 的方法中常见的错误,”Saxena 承诺。他可能指的是具有模拟腿的化身,除其他外,它可能在发布时也属于运动 SDK。

Movement SDK Presence Platform的一部分,是Meta 对沉浸式界面和 SDK 的统称。Meta 将它们分为三大支柱:混合现实(Insight SDK)、交互(Interaction SDK 和语音 SDK)和社交存在。运动 SDK 是第一个属于后者。

此图片的alt属性为空;文件名为top_qrcode.png
(0)
上一篇 2022年10月26日 上午9:20
下一篇 2022年10月26日 上午10:19

相关推荐

发表回复

登录后才能评论