Meta揭示了新的研究：化身、AR和脑机接口

在 Meta Connect 2022 上，Meta 展示了虚拟和增强现实领域的新研究成果。带有视频示例的概述。

Meta 的研究可能会持续十年甚至是更长时间，并突破当今VR、AR和AI等技术的可能性。在 Meta Connect 2022 上，该公司概述了许多领域的研究，从 Meta 的 AR 耳机到神经接口和 3D 扫描，再到逼真的编解码器化身。

增强现实

Metas 的目标是在未来几年推出一款时尚、视觉上吸引人但功能强大的 AR 耳机。由于在小型化、功率、电池容量和余热方面的技术挑战很大，因此Meta在其发展中采取了双重战略。

“眼镜需要相对较小才能看起来和感觉良好。因此，我们正在从两个不同的角度着手打造增强现实眼镜。首先是建立在我们对全 AR 眼镜所需的所有技术的基础上，然后努力将其融入我们可以做到的最佳眼镜外形中。第二种方法是从理想的外形尺寸开始，随着时间的推移将越来越多的技术融入其中，”马克扎克伯格在主题演讲中说。

前者的代号为Project Nazare，后者是Meta 与全球最大的眼镜制造商EssilorLuxottica的联合项目。这种合作关系已经产生了一种产品：Ray-Ban Stories，它提供了多种智能功能，但没有内置显示器。

在 Meta Connect 2022 上，Meta 和 EssilorLuxottica 对其数据眼镜项目和合作进行了更新：

• Ray-Ban Stories将很快获得免提呼叫联系人或通过软件更新发送短信的能力。
• 另一个新功能是Spotify Tap。“你只需点击并按住眼镜的一侧来播放 Spotify，如果你想听到不同的声音，再次点击并按住，Spotify 会推荐新的东西，”Meta 写道。
• EssilorLuxottica 可穿戴设备负责人 Rocco Basilico 在主题演讲中宣布，他的公司和 Meta正在开发一款新耳机，该耳机将打开“通往 Metaverse 的门户”。下一代 Ray-Ban Stories 会配备显示屏吗？扎克伯格和巴西利科对此持开放态度。

Project Nazare 表现如何？

在 Meta Connect 2021 上，Meta 模拟了通过 Project Nazare 看到的视图可能会是什么样子。今年，扎克伯格在没有展示的情况下发布了另一款 AR 头显的预告片。

Meta 的 CEO 带着设备走下走廊，并使用 EMG 腕带控制它。显然，您可以通过 Project Nazare 看到一个视图。

扎克伯格向 Meta 的研究主管 Michael Abrash 发送了一条消息并录制了一段视频，两者都使用了微手势。这可以通过 EMG 腕带实现，它可以截获手腕上的运动大脑信号，并在 AI 的帮助下将其转换为计算机命令。Meta 将这种类型的界面视为未来最重要的AR 操作概念，以及语音控制和手部跟踪。

扎克伯格没有透露 Project Nazare 何时会出现。根据一份报告，Meta 计划在 2024 年推出并在 2026年将其商业化。

脑机接口

Meta 研究更新中的另一个区块涉及上述 EMG 腕带。Meta 依靠这项技术和对未来 AR 界面的个性化 AI 支持相结合，识别情境和行动的上下文，并在日常生活中主动支持眼镜佩戴者。这应该能够在人和计算机之间实现直观、几乎无摩擦的界面。

“通过结合机器学习和神经科学，这个未来的界面将适用于不同的人，同时通过一个被称为‘共同适应学习’的过程来解释他们在生理、体型等方面的差异，”Meta 写道。

一段视频说明了这一点。在其中，可以看到两名 Meta 员工通过 EMG 手环和手指的动作玩一个简单的街机游戏。请注意，它们使用的手势略有不同——人工智能从信号和动作中学习并生成一个单独的模型。

“每次他们中的一个人执行手势时，算法都会适应解释那个人的信号，因此每个人的自然手势都能以高可靠性被快速识别。换句话说，随着时间的推移，系统会更好地理解它们，”Meta 写道。

算法训练得越好，需要移动的手和手指就越少。该系统通过解码手腕上的信号并将其转换为计算机命令来识别人已经决定的动作。

视障人士的 AR 导航

Meta 正在与卡内基梅隆大学 (CMU) 合作开展一项研究项目，以帮助视障人士在复杂的室内环境中导航。

该大学的研究人员使用Meta 的 Project Aria感应眼镜对匹兹堡机场进行 3D 扫描。他们使用这个 3D 环境地图来训练 AI 定位模型。因此，由 CMU 开发的智能手机应用程序NavCog可以通过中继语音指令来引导用户更安全地通过机场。以下视频解释了这项技术。

简单的 3D 扫描

像Meta Quest Pro这样的混合现实头戴设备会在头戴设备中显示物理环境。他们还不能扫描对象并将其保存为 3D 模型。如果这是一个选项，则可以将真实对象带入虚拟环境。

“从头开始构建 3D 对象很困难，而使用物理对象作为模板可能会更容易、更快。但是今天没有无缝的方法可以做到这一点，所以我们正在研究两种不同的技术来帮助解决这个问题，”Meta 写道。

第一个使用机器学习，简称为神经辐射场或NeRF，从几张照片中创建一个非常详细的 3D 对象。

第二种技术称为反向渲染。使用这种方法数字化的对象会对 VR 环境中的照明和物理做出动态反应。

这两种技术的一个缺点是它们还不能实时工作。然而，Meta 将它们视为对物理对象进行简单 3D 扫描的重要步骤。

编解码器头像

逼真的数字相遇——对于马克·扎克伯格来说，这是 AR 和 VR 的杀手级应用。

为此，Meta 多年来一直致力于所谓的编解码器化身：在外观上与人类原版几乎没有区别的数字化身。

在 Meta Connect 2021 上，Meta 展示了第二代编解码器头像并展示了全身头像。今年，该技术又有了一次更新。

Codec Avatars 2.0 现在可以在虚拟服装之间切换，而且表现力更强。为了展示改进的表现力，马克扎克伯格用自己制作了一个编解码器化身。

编解码器化身的营销和挪用的最大问题之一是它们的复杂创建：用户必须在特殊的 3D 工作室中扫描自己。

为了简化个人编解码器头像的生成，Meta 正在开发即时编解码器头像。只需用智能手机对面部进行两分钟扫描即可。以下视频说明了录制过程。

这个过程的缺点是完成的头像看起来不像扎克伯格的那么逼真，而且头像仍然需要几个小时才能创建并准备好使用。但是，Meta 正在努力加快这一进程。