Apple Vision Pro 是通过眼动追踪和手势来控制的,但具体是如何控制的呢?
在 WWDC23开发者演讲中,Apple 设计工程师解释了用户的眼睛和双手如何协同工作来控制Vision Pro的 VisionOS。
在 VisionOS 中,用户的眼睛就是目标系统,就像移动鼠标或将手指悬停在触摸屏上一样。
用户界面元素将在查看它们时做出反应,以明确它们已被选择。此外,查看菜单栏将展开该栏,查看麦克风图标将立即触发语音输入。
将食指和拇指捏在一起相当于单击鼠标或按触摸屏。这会将“点击”发送到用户的眼睛所看到的任何地方。
这很明显,但是如何执行其他关键任务(例如滚动)呢?
要滚动,用户需要捏住手指并向上或向下轻拂手腕。要放大或缩小,用户可以将双手捏在一起,然后向外移动。要旋转某物,可以执行相同的操作,但向上和向下。
所有这些手势均由用户所注视的位置引导,因此可以精确控制用户界面,而无需将双手举在空中或使用激光笔控制器。
这是一种极其优雅的 AR/VR 交互方式,Vision Pro 结合了 TrueDepth 手部追踪传感器套件和精确的眼球追踪,使之成为可能。理论上,Quest Pro可以采取类似的方法,但基于摄像头的手部追踪可能不够可靠,Meta 可能不想花时间在不适用于 Quest 2 和 3 的交互系统上,而 Quest 2 和 3 都缺乏眼球追踪。
那些尝试过 Vision Pro 的人报告说,这种眼睛选择和手势的结合使得交互系统比他们之前尝试过的任何头显都更加直观。在我们的实践过程中,“看到苹果做得如此正确,感觉真好”。它真正体现了苹果公司“行之有效”的理念。
不过,有些任务直接用手就能更好地完成。例如,用户可以通过使用两者在虚拟键盘上键入来在visionOS 上输入文本。Apple 建议使用“直接触摸”的其他场景包括检查和操作小型 3D 对象以及重新创建现实世界的交互。
Meta 也正朝着与其 Quest 系统软件直接接触的方向发展。但它模仿触摸屏,将其用于所有交互,而不是仅用于某些特定任务。这不需要眼球追踪,但需要将双手举在空中,随着时间的推移,这会变得疲劳。
源:uploadvr
推荐阅读
- VR视频播放器推荐
- VR视频、全景视频、3D视频还傻傻分不清吗?
- Pico使用本地网盘看视频
- VRchat同声传译无碍和老外沟通
- VR视频区分
- 手机视频投屏到PICO上看
- PICO VD串流教程,不用转区
- PICO 手机投屏教程
- PICO、YVR、奇遇Dream等设备串流须知
- PICO必玩得飞行类游戏,避坑选择
- PICO其他好玩