Vision Pro开发人员发布的一段视频似乎显示了苹果新款MR头显目前能够达到的手部跟踪和遮挡性能水平。
Apple Vision Pro预计将在未来几个月内推出,它将使用手部追踪作为其主要输入方法。虽然系统级交互将手部跟踪与眼动跟踪相结合,以实现“注视点和点击”模式,但开发人员还可以构建应用程序,可让用户使用手直接与应用程序交互。
Vision Pro 上的手部跟踪可以分为两种不同的功能:“手部跟踪”和“手部遮挡”。
手部跟踪是手部、关节和指尖位置的估计 3D 模型。该模型用于确定何时触摸、抓取对象并与之交互。
手部遮挡涉及系统如何将您的真实手叠加到虚拟内容上。Vision Pro 不是将虚拟手的 3D 模型绘制到场景中,而是剪切真实手的图像以在场景中显示它们。这样做为虚拟内容增加了另一层真实感,因为您可以看到自己独特的手。
一位使用 Unity 构建 Vision Pro 的开发人员发布了一段视频,该视频清晰地展示了手部跟踪和遮挡。
在上面的视频中,真实手牌显示了遮挡系统的运行情况,而绿点则显示了手部的估计 3D 位置。
我们可以看到,手部遮挡非常好,但并不完美;当完全被虚拟内容包围并快速移动时,您可以看到手的边缘有一些剪切。
同时,实际的手部跟踪位置进一步落后于手部遮挡,大约落后100-200毫秒。然而,我们无法完全确定 Vision Pro 的手部跟踪的真实延迟,因为我们只能看到遮挡跟踪手的视图来与之进行比较(它们本身会有一些关于真实手的延迟)。
在这种情况下,该视频来自Unity开发人员的对话,该对话称,他们早期使用Vision Pro的实验显示出非常高的手部跟踪延迟,显然与最新的Quest手部跟踪功能相比。其他 Unity 开发人员也同意,他们在自己的 Vision Pro 设备上也看到了类似的延迟。
来源:roadtovr