Meta Quest Pro 开辟了新的可能性。一位开发人员展示了如何使用眼动追踪在虚拟现实中写作。
在 YouTube 和其他频道发布的一段视频中,iOS 开发人员和 XR 爱好者 Fabio Dela Antonio 演示了一项眼动追踪实验。安东尼奥的目光扫过虚拟键盘上的每个键。渐渐地,“Hello World”这句话出现了。安东尼奥通过Quest Pro上的眼动追踪来选择角色。
一旦视线停留在虚拟键上半秒钟,输入就会发生。开发人员只需要他的眼睛。在视频中,安东尼奥将双手放在身前,以证明他毕竟不是在偷偷敲键盘。
“Blipping”不是键盘替代品
尽管注视控制打字或“闪烁”的想法看起来很有趣,但它不太可能取代物理打字。打字太费时了。例如,Antonio 打字“Hello World”需要 12 秒。
如果可以使用控制器密钥进行确认,会更快一些。然而,保留了这种方法的第二个问题:打字时必须看着键盘。这对于物理打字不再是必需的,在十指系统的情况下也可以实现快速打字。
不过,这样的功能仍然有用。例如,作为通过 VR 控制器和虚拟激光指示器进行更繁琐的输入的替代方法,这仍然是Meta Quest 2和 Pro 中的标准输入法。
对于因残疾而无法用手打字的人来说,注视控制打字将是一个巨大的胜利。这正是安东尼奥心目中的一群人。他希望 Meta 能为 Meta Quest Pro带来这样的辅助功能。
寻找 XR 键盘
在 VR 和 AR 中高效打字是一个尚未解决的问题。除了上面提到的激光笔方法,Meta Quest 2 & Pro 还可以选择将物理键盘带入 VR。这只能部分解决问题。毕竟,我们希望有一天没有真正的键盘。例如,借助可将任何表面变成键盘的腕带。
为此,Meta 开发了一种支持 AI 的手指跟踪键盘,并展示了一种名为“Pinchtype”的系统,其中输入来自捏合手势。这种方法是创新的,但需要实践。
说到人工智能,智能手机上的Slide-To-Type 系统可以简化和加快 Antonio 的注视控制打字,你可以在键盘上拖动手指,AI 模型会猜测要输入的单词。在这种情况下,让您的眼睛在字母序列上徘徊就足够了。