Quest Pro 的面部跟踪功能将很快投入使用,使 Meta 的头像更具表现力,但下一代头像将从新技术中受益更多。
Quest Pro 的一大新功能是面部跟踪系统,该系统使用内部摄像头来感知您的眼睛和脸部某些部位的运动。结合免校准的机器学习模型,头显将所见内容转换为可以驱动任何化身动画的输入。
在短期内,这将与 Meta 现有的头像一起使用。虽然这确实使它们更具表现力,但它们看起来仍然有点搞笑。
这可能是当前 Meta avatar 系统没有考虑到这种级别的面部跟踪的结果。“装配”——模型的底层动画框架——似乎不太适合这项任务。将 Quest Pro 的面部跟踪输入移植到当前系统中并不能真正实现其实际功能。
幸运的是,Meta 构建了一个技术演示,展示了在设计头像时考虑到 Quest Pro 的面部跟踪(并且几乎所有头显的处理能力都专用于渲染它时)的可能性。
Meta 表示,它将把 Aura 演示作为一个开源项目发布,以便开发人员可以看到他们如何将面部跟踪输入附加到头像上。该公司还表示,开发人员将能够使用单一工具集来驱动人形化身或动物或怪物等非人类化身,而无需单独调整每个化身。
Meta 表示,开发人员将能够利用面部跟踪 API,该 API 使用与 FACS 相对应的值,这是一种公认的用于描述人脸不同肌肉运动的系统。
这是一个有效的系统,不仅用于表示面部,而且还为用户形成了有用的隐私屏障。根据 Meta 的说法,开发人员实际上无法访问用户面部的原始图像。在 Insead 中,他们获得了“一系列与一组通用面部动作相对应的零对一值,例如当你揉鼻子或皱眉时,”Meta 说。“这些信号使开发人员在将来自 Face Tracking API 的信号映射到他们自己的角色装备时,可以轻松地保留玩家原始动作的语义含义,无论他们的角色是人形还是更奇幻的角色。”
Meta 声称,即使是公司本身也无法看到头显内部或外部摄像头拍摄的图像。据该公司称,它们在头显上进行处理,然后立即删除,而无需发送到云端或开发人员。