开发者现在可以将Meta的语音识别功能添加到Oculus Store和App Lab应用中,还可以试验混合现实空间锚。
Voice SDK和Spatial Anchors都在Connect 2021发布,现在作为Oculus SDK v35版本的一部分。
语音SDK由Wit提供动力。这是2015年Meta收购的语音接口公司。Wit是服务器端,所以不能离线工作,有一些延迟。
Meta表示,这种新的API允许搜索应用内部内容和“语音驱动的游戏玩法”,如口头魔法咒语或与虚拟角色的对话。虽然上个月发布的Oculus SDK包括Voice SDK,但它被标记为“实验性的”,所以不能包含在Oculus Store或App Lab应用程序中。
Voice SDK实际上不仅仅能从语音返回文本。它具有自然语言处理(NLP)功能来检测命令(例如。取消),解析实体(例如。距离,时间,数量),分析情绪(积极的,中性的,或消极的)。您可以在这里阅读语音SDK文档。
Spatial Anchors是一项针对混合现实的新实验功能,这意味着它还不能在Store或App Lab应用中使用。
开发人员已经可以使用passthrough——从Quest的灰度跟踪相机的视图——作为一个层(例如背景)或自定义网格(例如你面前的桌子)。空间锚是一种锁定世界的参考框架,允许应用程序将内容放置在用户在其房间中定义的特定位置。耳机将记住这些锚的位置之间的会议。你可以在这里阅读空间锚的文档。
明年Meta 计划添加场景理解作为实验性功能。系统会提示用户(手动)标记他们的墙壁和家具,并输入他们的天花板高度——这个过程称为场景捕捉。这需要为每个房间完成,但耳机应该记住会话之间的场景模型。