Meta XR Audio SDK:在音频 SDK 中引入声学光线追踪

Meta XR Audio SDK:在音频 SDK 中引入声学光线追踪

沉浸感是 VR 体验的一个决定性方面,它包含了几个因素的组合,与传统的 2D 屏幕相比,这些因素提供了更大的临场感和更高的感觉。虽然令人惊叹的视觉效果通常是人们首先注意到的,但高质量音频的重要性怎么强调都不为过。精确的音频模拟能够产生 360 度音景,将虚拟环境扩展到玩家的直接视线之外,将身临其境的环境转变为真正可信的体验。

为了帮助您实现准确的音频模拟,我们推出了新的声学光线追踪 (Unity |虚幻)作为音频 SDK 一部分的功能。这些功能为您提供了提高真实感、加深参与度、将玩家锚定在虚拟世界中的工具,并通过给人一种远程多人游戏参与者占据相同物理空间的印象来弥合他们之间的差距。

通常,声学是由开发人员使用定制的自组组对我们点系统实现的,这些系统使用游戏逻辑来驱动音频系统参数。它们通常可以实现基本的遮挡和阻挡,并为不同的区域应用不同的混响预设,但这种手动方法往往是劳动密集型、复杂和脆弱的。

虽然市场上有一些解决方案可以实现高度精确的声学模拟水平,但这些解决方案旨在用于 PC 和游戏机开发,并且通常过于耗费资源,不适合移动 VR 硬件。

现在,您可以利用 Audio SDK 中的新声学光线追踪功能,轻松为 Unity 和 Unreal 中的虚拟环境创建逼真的声学效果。只需在游戏编辑器中加载虚拟环境,标记相关几何体,然后按照一组简单的步骤自动生成准确的声学模型。

我们一直在努力简化这一过程,使在声音设计方面经验最少的开发人员和设计师能够创建真实的声学效果。我们的系统功能强大,可以轻松处理大型复杂环境,性能足够强大,可以针对 Meta Quest 移动设备使用,而且系统简单易用,艺术家无需工程专业知识即可使用。

深入阅读以下内容,详细了解这些激动人心的新功能、如何实现它们以及示例用例。

Meta XR Audio SDK:在音频 SDK 中引入声学光线追踪
Unity 项目中的声学光线追踪功能

声学光线追踪功能概述

我们新的声学光线追踪功能旨在以令人难以置信的精度模拟高质量的音频声学。通过将这些功能与我们现有的空间音频功能相结合,您可以创建听起来和看起来一样真实的环境。其结果是为用户提供了更可信和身临其境的体验,使他们在环境中保持参与和存在。

虚拟环境听起来很真实

这些新功能通过准确建模反射和混响来提供室内声学模拟,这对于创建空间感和深度感至关重要。当声波从表面反弹并返回到听者手中时,它可以提供有关环境大小和形状的重要空间线索。

专为您创建的任何环境而构建

我们的声学功能可以处理任意复杂的几何形状,确保即使是最复杂的环境也能得到准确模拟。无论您的 VR 场景是蜿蜒的洞穴、熙熙攘攘的城市景观,还是错综复杂的室内环境,我们的技术都可以在不影响性能的情况下管理复杂性。

Meta XR Audio SDK:在音频 SDK 中引入声学光线追踪
可以为复杂的游戏几何体提供精确的声学模拟

声波真实地传播

声音反射是真实音频体验的核心方面,但我们的技术更进一步,使声音能够实时动态适应。它可以模拟衍射、遮挡和障碍物等高级传播现象。衍射允许声音绕过障碍物弯曲,遮挡模拟物体如何阻挡声音,而障碍物则模拟声音在穿过不同材料时如何变化。这些现象对于逼真的音频体验至关重要,尤其是在复杂环境中。底层技术与光线追踪图形渲染中使用的方法非常相似。

材料声学特性

在物理世界中,不同的材料以独特的方式与声音相互作用。我们设计了声学光线追踪技术,通过表示各种材料(如砖、地毯、玻璃和木材)的声学特性的能力来复制这种真实性。这意味着铺有地毯的客厅听起来与混凝土仓库截然不同,为音频体验增添了另一层真实感。

在 Meta Quest 头戴设备上表现出色

我们新的声学功能的一个突出优势是它们在移动硬件上的性能。虽然市场上的其他解决方案由于性能成本高而需要功能强大的 PC,但我们的 SDK 经过优化,可在 Quest 头显等移动设备上高效运行。这为移动应用中的高质量音频模拟开辟了新的可能性,使沉浸式音频比以往任何时候都更容易获得。

示例用例:沉浸式游戏

准确的声学效果可以创建态势感知,并为竞技游戏添加战术元素。例如,用户可以听到对手的脚步声在大厅和拐角处回荡,即使没有视线,也能让他们清楚地感觉到位置,使他们能够潜入角落并设置伏击。

Meta XR Audio SDK:在音频 SDK 中引入声学光线追踪
在身临其境的多人游戏中使用声音创造战术优势

示例用例:Co-Presence

对于社交和多人游戏应用,将准确的声学效果(以及空间音频)应用于语音可以真正增强其他人与您一起处于环境中的感觉。声学光线追踪使语音能够根据物体和空间进行适应,从而加深这些体验中的存在感和团结感。

Meta XR Audio SDK:在音频 SDK 中引入声学光线追踪
与朋友和家人在一起的感觉,无论距离多远

与现有工作流程集成

我们明白,易于集成对于开发人员来说至关重要。这就是为什么我们的 声学功能旨在与以下领域的现有工作流程无缝协作 Unity和虚幻游戏引擎。此外,我们还支持流行的音频中间件 解决方案(FMOD 和 Wwise),让我们更容易将我们的技术融入 无论您喜欢如何工作,您的项目。

为了帮助您入门,我们提供了完整的文档 (Unity |虚幻) 这涵盖了从基本设置到高级功能的所有内容。此外,我们 正在开发样本项目,作为实际示例和最佳实践 用于将这些新的声学功能集成到您自己的应用程序中。

与 AAA 工作室合作开发

这些先进的声学光线追踪功能已被用于创建 在即将推出的 AAA 游戏中获得更多身临其境的体验,例如《蝙蝠侠:阿卡姆》 Shadow,由 Camouflaj 开发,计划于 2024 年底发布。 通过与真实世界的 VR 游戏开发者合作,我们增强了 我们技术的稳健性和质量,提供量身定制的功能集 满足他们的需求。我们期待向 Quest 游戏玩家介绍我们的 Acoustic 哥谭市世界中的光线追踪,我们迫不及待地想看看你如何 利用这些功能推动您自己项目的创新 向前。

开始构建逼真、适应性强的音频体验

声学光线追踪功能为您提供创建沉浸式环境所需的工具 感觉与物理世界几乎无法区分的音频体验。 从模拟室内声学和高级传播现象到处理 复杂的几何形状和准确表示材料属性,这些特性 为VR中的逼真音频提供全面的解决方案。与无缝 在移动设备上的集成、完整的文档和高效的性能 硬件,您拥有实现新水平沉浸感所需的一切,并且 突破沉浸式音频的界限。

立即开始下载音频 SDK (Unity |虚幻) 并访问声学光线追踪文档 (Unity |虚幻)。 要了解最新的发布和新闻,请务必在 X 和 Facebook 上关注我们,并订阅我们的 开发者中的月度时事通讯 仪表板设置。

来源:oculus

(0)
上一篇 2024年7月30日 上午7:29
下一篇 2024年7月31日 上午7:03

相关推荐

发表回复

登录后才能评论