vrcoast 
Quest 透视相机 API 作为 Quest 3 和 Quest 3S 的实验版本来了，这意味着任何开发人员都可以试用它，甚至可以在 SideQuest 等平台上分发使用它的 APK，但还不能在 Meta Horizon Store 发布。
要使“透视相机 API”正常工作，用户需要授予应用程序访问头戴式设备摄像头的权限，就像您授予麦克风一样。如果获得授权，该应用程序可以访问前向彩色相机，包括相机内部函数和头戴显示设备姿势等基本数据，开发者可以利用这些数据来运行自定义计算机视觉模型。
应用程序如何使用此功能的示例包括扫描和跟踪 QR 码、检测桌子上的游戏板以向其添加虚拟角色和对象、检测物理对象以获得企业指南体验，或集成云托管大型语言模型 （LLM） 的视觉 AI 功能。
透视摄像头输出分辨率1280×960 + 帧率30的原始数据给应用程序，透视延迟为 40-60 毫秒，所以它不适合跟踪快速移动的对象（如自定义控制器），也不适合识别细小文本等精细特征。
从技术上讲没有特定的 Quest 相机透视API，也不是 OpenXR 的扩展。开发人员确实需要请求特定于 Horizon OS 的头戴式设备摄像头权限，但除此之外，Quest 的透视摄像头访问还会利用 Android 的 Camera2 API 返回通过 OpenXR 获取的头戴式设备姿势，而 Camera2 API 是自定义引擎的开发人员或 Unreal 或 Godot 的源代码的开发人员用于该 API。这也意味着相同的代码应该可以在 Google 即将推出的 Android XR 平台上运行，只是权限请求不同。
对于 Unity，开发人员可以通过 Unity 的 WebCamTexture API 轻松访问摄像头，和引擎中访问手机、平板电脑和 PC 摄像头和网络摄像头的方式一样。但是，这里的一个限制是 Unity 的 WebCamTexture API 一次仅支持一个摄像机，而不能同时支持两个摄像机。
感兴趣的开发人员可以在此处找到 Quest 透视摄像头访问文档：Unity/原生 Android。
Meta 在 GitHub 上发布了五个官方 Unity 示例：CameraViewer、CameraToWorld、BrightnessEstimation、MultiObjectDectection、ShaderSample。Meta 软件工程师 Roberto Coviello 在 GitHub 上单独发布了 QuestCameraKit，其中包含另外五个示例：Color Picker、Unity Sentis 的对象检测、ZXing 的 QR 码跟踪、磨砂玻璃着色器和 OpenAI 视觉模型。
来源：uploadvr
