一位开发人员想出了一种聪明的方法,可以访问 Quest 3 的直通摄像头来运行自定义计算机视觉检测模型。
Meta 不允许第三方开发人员访问 Quest的摄像头,但手部追踪健身应用程序 XRWorkout 的联合创始人兼首席开发人员 Michael Gschwandtner 在社交媒体平台上发布了一段视频,展示了对此限制的有趣解决方法的结果。
演示视频展示了在 Quest 3 上以 0.75 Hz 的频率原生运行的开源 MobileNet V2 对象检测模型。选择此选项是出于实用性,而不是出于性能原因。
如何工作
Gschwandtner 的应用程序构建会创建一个 webview,这是一个嵌入在应用程序中的 Chromium Web 浏览器实例,它会自动加载 Quest可以将其视图投射到的 oculus.com/casting URL。
然后,您需要完成在此 webview 中登录您的 Meta 帐户的完整过程。完成后,您可以使用 Quest 系统菜单启动网络投射。您是从头戴式设备投射到同一头戴式设备内的应用程序,而不是投射到不同的设备。
然后,Gschwandtner 的应用对接收投射视图的 Web 视图的像素内容 RenderTexture 进行采样,然后从那里可以对它做任何他喜欢的事情。在演示示例中,他将其提供给 Google 的 MediaPipe 设备端 SDK。
这里的一个关键限制是,视图也将包括虚拟对象和接口,而不仅仅是直通相机视图,这意味着它仅在大部分图像是直通图像时才起作用。但Gschwandtner声称他有一个“计划”来解决这个问题。
来源:uploadvr