NVIDIA 展示 DRIVE Sim 中的新型 AI 工具，推动自动驾驶汽车的开发

NVIDIA 研究团队取得突破性成果，展示了 Omniverse 数字孪生技术在仿真中重建真实场景的强大功能

自动驾驶汽车的开发和验证需要能够在仿真中复制真实场景。

在 GTC 大会上，NVIDIA 创始人兼首席执行官黄仁勋先生展示了适用于  NVIDIA DRIVE Sim 的新型 AI 工具，这些工具可以准确重建和修改实际驾驶场景。这些工具由 NVIDIA 研究团队利用 NVIDIA Omniverse 平台和 NVIDIA DRIVE Map 等技术取得的突破性成果提供支持。

黄仁勋先生演示了这些方法，展示开发者如何在快速迭代中轻松测试多个场景：

在仿真中重建任何场景后，这些场景便可用作许多不同变化的基础，包括改变迎面而来的车辆的轨迹，或在驾驶路径上增加障碍物，从而有助于开发者改进 AI 驱动。

然而，在仿真中重建真实驾驶场景并从中生成真实的数据是一个费时费力的过程。这需要技术经验丰富的工程师和艺术家，但即便如此，也很难做到。

NVIDIA 已实施两种基于 AI 的方法来无缝执行此过程：虚拟重建和神经重建。第一种方法复制真实场景，作为完全合成的 3D 场景，第二种方法则使用神经仿真增强真实的传感器数据。

这两种方法不仅能够重现单个场景，还能够实现扩展，生成许多富有挑战性的新场景。这种功能加速了持续的自动驾驶汽车训练、测试和验证工作流。

虚拟重建

在上面的主题演讲视频中，使用 NVIDIA DRIVE Map、Omniverse 和 DRIVE Sim，以 3D 形式重建了 NVIDIA 总部周围的整体驾驶环境和各个场景。

借助 DRIVE Map，开发者可以在 Omniverse 中查看道路网络的数字孪生。通过使用建立在 Omniverse 上的工具，详细的地图可以转换为能够与 NVIDIA DRIVE Sim 一起使用的可驾驶仿真环境。

利用重建的仿真环境，开发者可以使用在真实驾驶中获得的摄像头、激光雷达和车辆数据来重现事件，例如在交叉路口发生的惊险一刻或穿越施工区。

该平台的 AI 帮助重建场景。首先，对于每个追踪的物体，AI 会查看摄像头图像，并从 DRIVE Sim 目录中找到极其相似的 3D 素材，以及与视频中物体颜色非常接近的颜色。

最后，重现追踪物体的实际路径；然而，由于存在遮挡，通常会存在空白。在这种情况下，基于 AI 的交通模型会应用于追踪的物体，以预测其运行情况并填补其轨迹中的空白。

使用真实驾驶中的摄像头和激光雷达数据以及 AI 重建场景。

借助虚拟重建，开发者能够发现具有挑战性的潜在情况，通过基于物理传感器和 AI 行为模型生成的高保真数据来训练和验证自动驾驶汽车系统，从而创建许多新场景。场景中的数据也可以训练行为模型。

使用 AI 从原场景中生成看似合理、具有挑战性的场景。

神经重建

另一种方法依靠的是神经仿真，而不是以合成方式生成场景，首先使用真实的传感器数据，然后再进行修改。

传感器重放（回放录制的传感器数据以测试自动驾驶汽车系统的性能的过程）是自动驾驶汽车开发的主要内容。这是一个开环过程，意味着自动驾驶汽车栈的决策不会影响世界，因为所有数据都是预先录制的。

NVIDIA 研究团队提供的神经重建方法的预览将这些录制的数据转变为一个完全反应式的可修改环境，就像在演示中一样，最初录制的货车驶过时，汽车可以重新设定为右转弯。这种革命性的方法可以实现在自动驾驶栈与驾驶环境之间进行闭环测试和完全交互。

此过程从录制的驾驶数据开始。AI 可识别场景中的动态物体，并将其移除，以创建可从新视角呈现的 3D 环境精确副本。然后，将动态物体重新融入 3D 场景，呈现基于 AI 的逼真行为和外貌，并考虑照明和阴影。

使用 AI 基于预先录制的驾驶数据创建 3D 交互式环境。

然后，自动驾驶系统会在这个虚拟世界中行驶，且场景会做出相应的反应。您可以通过增强现实使场景变得更加复杂，可以插入其他虚拟物体、车辆和行人，使渲染结果看起来就像是真实场景的一部分，并且可以与环境进行物理交互。

车辆上的每一个传感器（包括摄像头和激光雷达）都可以使用 AI 在场景中进行仿真。

在 Omniverse 中，可以在驾驶环境中插入虚拟物体和车辆。针对场景生成了人工传感器数据（包括激光雷达）。

充满可能性的虚拟世界

这些新方法由 NVIDIA 在渲染、图形和 AI 方面的专业知识驱动。

作为一个模块化平台，DRIVE Sim 在确定性仿真的基础上支持这些功能。它提供车辆动态、基于 AI 的交通模型、场景工具和全面的 SDK，以构建所需的任何工具。

通过这两种强大新颖的 AI 方法，开发者可以轻松地从现实世界迁移到虚拟世界，从而加快自动驾驶的开发和部署。