如何用眼睛和双手控制Apple Vision Pro?

如何用眼睛和双手控制Apple Vision Pro?

Apple Vision Pro 是通过眼动追踪和手势来控制的,但具体是如何控制的呢?

在 WWDC23开发者演讲中,Apple 设计工程师解释了用户的眼睛和双手如何协同工作来控制Vision Pro的 VisionOS。

用眼睛进行选择和扩展菜单。

在 VisionOS 中,用户的眼睛就是目标系统,就像移动鼠标或将手指悬停在触摸屏上一样。

用户界面元素将在查看它们时做出反应,以明确它们已被选择。此外,查看菜单栏将展开该栏,查看麦克风图标将立即触发语音输入。

将食指和拇指捏在一起相当于单击鼠标或按触摸屏。这会将“点击”发送到用户的眼睛所看到的任何地方。

单击、滚动、缩放和旋转。

这很明显,但是如何执行其他关键任务(例如滚动)呢?

要滚动,用户需要捏住手指并向上或向下轻拂手腕。要放大或缩小,用户可以将双手捏在一起,然后向外移动。要旋转某物,可以执行相同的操作,但向上和向下。

所有这些手势均由用户所注视的位置引导,因此可以精确控制用户界面,而无需将双手举在空中或使用激光笔控制器。

通过眼动追踪和手势放大和缩小图像。

这是一种极其优雅的 AR/VR 交互方式,Vision Pro 结合了 TrueDepth 手部追踪传感器套件和精确的眼球追踪,使之成为可能。理论上,Quest Pro可以采取类似的方法,但基于摄像头的手部追踪可能不够可靠,Meta 可能不想花时间在不适用于 Quest 2 和 3 的交互系统上,而 Quest 2 和 3 都缺乏眼球追踪。

那些尝试过 Vision Pro 的人报告说,这种眼睛选择和手势的结合使得交互系统比他们之前尝试过的任何头显都更加直观。在我们的实践过程中,“看到苹果做得如此正确,感觉真好”。它真正体现了苹果公司“行之有效”的理念。

不过,有些任务直接用手就能更好地完成。例如,用户可以通过使用两者在虚拟键盘上键入来在visionOS 上输入文本。Apple 建议使用“直接触摸”的其他场景包括检查和操作小型 3D 对象以及重新创建现实世界的交互。

Meta 也正朝着与其 Quest 系统软件直接接触的方向发展。但它模仿触摸屏,将其用于所有交互,而不是仅用于某些特定任务。这不需要眼球追踪,但需要将双手举在空中,随着时间的推移,这会变得疲劳。

源:uploadvr

推荐阅读

此图片的alt属性为空;文件名为top_qrcode.png
(0)
上一篇 2023年6月9日 上午8:30
下一篇 2023年6月12日 上午10:21

相关推荐

发表回复

登录后才能评论