英伟达( NVIDIA )正在增强进军元宇宙的竞争力,推出了一系列平台、软件和计算工具,以帮助实现虚拟世界,这是今年NVIDIA GTC会议(GPU Technology Conference)的重头戏。
随着消息发出,周二盘前交易中,这家主要生产电脑显示芯片的公司股价上涨了5%以上,周一GPU技术大会(GTC)开幕时,公司股价上涨了3.5%。过去一年,股价上涨逾125%,周一收于308.10美元。
英伟达首席执行官黄仁勋(Jensen Huang)在一场主题演讲中讲述了他对omniverse的愿景——英伟达的3D虚拟世界和协作平台,这个平台在去年12月份发布测试版。NVIDIA称这些技术将“改变数万亿美元的产业”。
他展现了由Omniverse Avatar的交互式AI化身生成平台的虚拟人物。黄仁勋还推出了Omniverse Replicator,它是一种计算机引擎,可以生成训练构成AI的深度神经网络所需的数据。Omniverse还被用于创建化身(数字孪生),能够在虚拟空间中复制真实世界的环境,以此来增强汽车、医院和机器人的真实体验。
Omniverse副总裁Richard Kerris在一场新闻发布会上说:“我们并不是在告诉人们去替换他们所做的,而是在加强他们所做的。”
Omniverse Avatar就是其中之一,它可以生成交互式、智能的AI化身,帮助就餐者点餐、帮助司机自动停车或更好地导航。
英伟达(Nvidia)举了一个例子,用一个会话Avatar代替餐厅的服务器。在订购食物时,一个由屏幕上的虚拟形象代表的AI可以使用语音识别和自然智能技术进行实时交谈,使用计算机视觉捕捉一个人的情绪,并根据知识图谱推荐菜品。
为此,Avatar将需要同时运行多个AI模型,例如语音、图像识别和上下文,这可能是一个挑战。NVIDIA创建了统一计算框架(Unified Compute Framework),将AI建模成为微服务,应用程序可以在单一或混合系统中运行。
Omniverse Avatar也是Drive Concierge的基础技术。Drive Concierge是一种车内AI助手,“车内的私人礼宾服务可以随叫随到,”嵌入式与边缘计算公司副总裁兼总经理迪普·塔拉表示。
以互动角色为代表的汽车AI系统可以通过习惯、声音和互动来理解驾驶员和车内人员。因此,AI可以打电话或推荐附近的吃饭地点。
通过使用摄像头和其他传感器,这个系统还可以判定司机是否睡着,或者在乘客忘记东西时提醒他们。AI的相关信息通过交互或屏幕上的界面呈现。
元宇宙的概念并不新鲜——它在林登实验室的《模拟人生》等游戏中已经存在。英伟达希望打破专利壁垒,创建一个统一的元宇宙,这样用户理论上可以在不同的宇宙间穿梭。
在新闻发布会上,英伟达并没有提及帮助Facebook实现它关于元宇宙的未来愿景,而这正是Facebook更名为Meta的核心。
但英伟达正在说服其他公司通过它的软件平台,将他们的3D作品引入Omniverse平台。其中包括Esri的ArcGIS cityEngine,它可以帮助创建3D城市环境,以及Replica Studio的AI语音引擎,它可以模拟动画角色的真实声音。
“使这一切成为可能的是 USD(Universal Scene Description)。USD 是3D的文本标记语言(HTML),这是一个重要原因,因为它允许所有这些现有的软件产品利用我们正在谈论的虚拟世界。你可以看到Omniverse的输出能力,无论你是以媒体形式传输到一个AR或VR设备,还是使用平板电脑窥视3D世界。”
英伟达还发布了 Omniverse Enterprise——一种带有软件堆栈的订阅产品,可帮助公司创建可以连接到 Omniverse 平台的 3D 工作流程。该产品的价格为每年 9,000 美元,面向工程和娱乐等垂直行业,通过戴尔、联想、PNY 和 Supermicro 等合作伙伴销售。
该公司还使用 Omniverse 平台生成合成数据,用于训练“数字双胞胎”或真实世界物体的虚拟模拟。ISAAC SIM 可以通过基于现实世界和虚拟信息的合成数据训练机器人。SIM 允许引入新对象、相机视图和照明,以创建用于训练机器人的自定义数据集。
汽车等效物是 Drive SIM,它可以通过模拟摄像头为自动驾驶创建逼真的场景。真实世界数据中的 SIM 因素以训练自动驾驶 AI 模型。相机镜头模型经过模拟,并采用真实世界的现象,如运动模糊、卷帘快门和 LED 闪烁。
Nvidia 正在与传感器制造商密切合作,以准确复制 Drive SIM 数据。Nvidia 汽车副总裁 Danny Shapiro 表示,摄像头、雷达、激光雷达和超声波传感器模型都使用 RTX 图形技术进行路径追踪。
该公司在整个Omniverse介绍中交织了一些硬件公告:
- 下一代 Jetson AGX Orin 开发板将于明年第一季度向制造商提供。它具有基于 Arm Cortex-A78 设计的 12 个 CPU 内核、32GB LPDDR5 RAM 并提供 200 TOPS(每秒万亿次操作)的性能。
- Drive Hyperion 8 是一款汽车计算平台,具有双 Drive Orin SoC,性能高达 500 TOPS。该平台有12个摄像头、9个雷达、1个激光雷达和12个超声波传感器。它将用于 2024 年生产的车辆,并采用模块化设计,因此汽车制造商只能使用他们需要的功能。配备较旧 Nvidia 计算机的汽车可以升级到 Drive Hyperion 8。
- 英伟达还发布了 Quantum-2 InfiniBand 开关,它拥有 570 亿个晶体管,采用台积电的 7nm 工艺制造。我们被告知,它每秒可以处理 665 亿个数据包,并且有 64 个端口用于 400Gbit/sec 数据传输,或 128 个端口用于 200Gbit/sec 传输。
- 此外英伟达还宣布了 Morpheus——一种AI框架,允许网络安全供应商识别和提醒公司注意网络或数据中心中的异常行为。AI 框架识别应用程序、用户或网络流量的细微变化,以识别异常和可疑行为。
- Morpheus 从 Nvidia 的 BlueField SmartNIC/数据处理单元中提取所需的数据,由于升级到 Bluefield DPU 的 DOCA SDK,就像 CUDA 升级到 Nvidia 的 GPU 一样,这些单元被赋予了新的能力。
- DOCA 升级 – 1.2 版 – 还可以“构建计量云服务,控制资源访问,验证每个应用程序和用户 [并] 隔离可能受到威胁的机器”。DOCA 1.2 还允许 Bluefield 设备验证软件和硬件身份验证,应用线速数据加密,并支持在 SmartNIC 上运行的分布式防火墙。Nvidia 告诉The Register Palo Alto 在 SmartNIC 上以分布式模式运行工具时,防火墙性能提高了 5 倍。