Quest 的“全身追踪”API 与它之前所宣传的可能有所不同。
全身追踪 API 作为运动 SDK 的一部分于周四发布,其中还包括用于Quest Pro的 眼动追踪 API 和 面部追踪 API 。
官方 Oculus 开发者 Twitter 帐户宣布了该版本的发布,文档中的插图显示了正在跟踪用户的全身姿势。而这条动态的大量转发导致许多人认为 Quest 刚刚获得了全身追踪的支持——但 API 的名称和插图都具有误导性。
Meta的手跟踪API提供了用户的手和手指的实际位置,由朝外的摄像头跟踪。它的眼动追踪API和面部追踪API提供了用户的实际凝视方向和面部肌肉运动,由Quest Pro的内面向摄像头跟踪。但Meta发言人向UploadVR证实,“身体追踪”API只根据你的头和手的位置提供“模拟上半身骨架”。这不是真正的追踪,也不包括你的腿。
实际上这个API的一个更好的名称应该是身体姿态估计。该发言人将该技术描述为逆运动学(IK)和机器学习(ML)的结合。IK是指根据已知位置估计骨骼(或机器人)各部分未知位置的一类方程。这些方程式为当今应用中的所有全身VR化身提供了动力。开发者不需要实现(甚至不需要理解)IK背后的数学原理,因为像Unity和Unreal等游戏引擎都内置了IK,而像流行的Final IK等软件包也提供了完整的实现,价格不到100美元。
除非你使用像HTC的Vive追踪器这样的身体追踪硬件,否则VR的IK往往是不准确的——对于每一组给定的头和手的位置,都有许多潜在的解决方案。Meta的卖点在于,它的机器学习模型可以免费生成更精确的身体姿势。演示视频似乎证实了这一说法,尽管没有下半身,而且支持仅限于Quest耳机。凭这两点,大多数开发人员可能不会接受这个提议。
然而,Meta 的 Connect 2022 活动中给出的提示以及研究表明,未来将增加支腿。
全身追踪产品经理 Vibhor Saxena在针对开发人员的一次演讲中说:
“未来几年身体追踪的新改进将通过相同的 API 提供,因此您可以确保您将继续从 Meta 获得最佳身体追踪技术,而无需切换到不同的界面。
我们很高兴能为您带来这些功能,并努力在未来几年内让身体追踪变得更好。”
在主要主题演讲中,马克扎克伯格宣布Meta Avatars 正在通过一个同样具有误导性的演示获得支持。今年再过段时间Legs 将出现在 Horizon上,然后在明年进入其他应用程序的 SDK。Saxena 证实 全身追踪 API 利用了支持 Meta Avatars 的相同底层技术——这似乎表明该 API 也将获得支持。
你可能会想:如果全身追踪 API 只是基于头部和手部位置的估计,它怎么可能包含腿?上个月Meta 展示了这方面的研究,利用了机器学习的最新进展。但显示的系统并不完全准确,延迟达到了160ms,在72Hz下超过11帧。这种计时速度太慢,输出也不完美,所以你不能指望低头看到自己的腿在你预期的位置上。Meta首席技术官(CTO)的评论显示,该公司可能会使用类似的技术,在别人的虚拟形象上展示腿:
“如果你的虚拟角色的腿与你的真实腿不匹配,大概率用户会感觉到奇怪。但是我们实现看到其他人的腿。
因此,我们正在研究对旁观者来说看起来很自然的腿——因为他们不知道你真正的腿实际上是如何定位的——但是当你看着自己的腿时,你可能还是会什么都看不到。这是我们目前的策略。”