高通表示,它正在与 Meta 合作优化其 LLaMA AI 模型以在设备上运行。
在宣布这一努力的推文中,高通将“XR”列为设备类别之一。
LLaMA 是 Meta 的开源大语言模型 (LLM) 系列,使用与 OpenAI 的闭源 GPT 系列类似的 Transformer 架构。
本周Meta 发布了 LLaMA 2,基准测试显示其性能优于所有其他开源大型语言模型,甚至接近 OpenAI 的 GPT-3.5(该模型为 ChatGPT 免费版本提供支持)。
不过,让大型语言模型在移动芯片组上以合理的速度运行将是一个巨大的挑战,而且可能不会很快发生——尤其是在 VR 中,系统还需要足够的开销来以最低每秒 72 帧的速度运行跟踪和渲染。
例如,即使运行 LLaMA 2 的最小变体(70 亿个参数模型),全精度也需要 28GB RAM。最近,修补匠一直在尝试以较低的精度运行 LLM,只需要 3.5GB RAM,但这会显着影响输出质量,并且仍然需要大量的 CPU 和/或 GPU 资源。
如果高通和 Meta 最终能够在 Quest 上运行 LLaMA 模型,这将带来一系列突破性的用例。
它可以实现真正的下一代 NPC,也就是用户实际上可以与之对话的虚拟角色,并且可以与他们互动以发现游戏或体验中的信息。这可能会引发全新的VR体验,更像是《星际迷航》的全息体验,而不是当前的视频游戏。
但仍然没有迹象表明该功能很快就能在设备上实现。
推荐阅读
- VR视频播放器推荐
- VR视频、全景视频、3D视频还傻傻分不清吗?
- Pico使用本地网盘看视频
- VRchat同声传译无碍和老外沟通
- VR视频区分
- 手机视频投屏到PICO上看
- PICO VD串流教程,不用转区
- PICO 手机投屏教程
- PICO、YVR、奇遇Dream等设备串流须知
- PICO必玩得飞行类游戏,避坑选择
- PICO其他好玩