Mar, 2024

SubjectDrive：通过主体控制在自动驾驶中扩大生成数据规模

PDF
TL;DR自动驾驶进展依赖于大规模标注数据集。本研究探索生成模型在自动驾驶应用中产生大量自由标注数据的潜力，并提出了 SubjectDrive，这是第一个已证实能够持续改进自动驾驶应用的规模化生成数据生产模型。我们研究了扩大生成数据量对下游感知模型性能的影响，发现增强数据的多样性在有效扩展生成数据生产中起着关键作用。因此，我们开发了一种配备了主题控制机制的新型模型，使生成模型能够利用多元化的外部数据源产生多样且有用的数据。广泛的评估验证了 SubjectDrive 在生成可扩展自动驾驶训练数据方面的功效，标志着这一领域数据生产方法革命性的重要进展。
autonomous drivinggenerative modelslarge-scale annotated datasetsdata diversitytraining data
发现论文，激发创造
  • 用可扩展的生成模型解决运动规划任务

    基于生成模型的高效模拟器可用于改进自动驾驶系统的可扩展性、安全性和降低工程成本，这种创新设计可用于生成各种驾驶场景，提高推理和训练速度，适用于在线强化学习、规划策略评估和测试的高保真度仿真器。

    Jul, 2024

  • DriveSceneGen: 从零开始生成多样且逼真的驾驶场景

    大规模多样化的真实交通场景对于自动驾驶系统的开发和验证至关重要。本研究引入了 DriveSceneGen，一种数据驱动的驾驶场景生成方法，从真实世界的驾驶数据集中学习并生成完整的动态驾驶场景。与真实世界的数据集相比，DriveSceneGen 能够以高保真度和多样性生成与实际数据分布相吻合的新型驾驶场景。与真实世界数据集相比，5,000 个生成场景的实验结果突出了生成质量、多样性和可扩展性。据我们所知，DriveSceneGen 是首个能够从头开始生成涉及静态地图元素和动态交通参与者的新型驾驶场景的技术。

    Sep, 2023

  • 自主驾驶的广义预测模型

    本文介绍了自动驾驶学科中第一个大规模视频预测模型。通过从网络获取大量数据并与多样且高质量的文本描述配对，我们消除了高成本数据收集的限制并增强了模型的泛化能力。该数据集积累了超过 2000 小时的行驶视频，涵盖了全球各地不同的气候条件和交通场景。我们的模型名为 GenAD，并继承了最近潜变扩散模型的优点，利用新颖的时间推理块处理行驶场景中具有挑战性的动态。我们展示了它可以以零 - shot 方式泛化到各种未见过的行驶数据集，超过了一般或专门针对行车的视频预测模型。此外，GenAD 可以适应动作条件化预测模型或运动规划器，具有在实际行驶应用中巨大潜力。

    Mar, 2024

  • 自动驾驶的合成数据集：一项调查

    本研究综述了合成数据集生成方法的演变，并回顾了应用于自动驾驶研究的单任务和多任务合成数据集的相关工作，讨论了其在自动驾驶相关算法测试中的作用，尤其是在可信性和安全性方面。此外，该综述还讨论了合成数据集在自动驾驶技术实际部署方面的问题，并提供了一种可能的解决方案。

    Apr, 2023

  • 探索在驾驶数据合成中的生成式人工智能应用

    通过三种不同的生成式人工智能方法应用驾驶模拟器中的语义标签图作为创建真实数据集的桥梁，本文比较分析了这些方法的图像质量和感知能力，产生了包括驾驶图像和自动生成的高质量注释的新合成数据集，证明了扩散式方法可以提供改进的稳定性和解决 Sim2Real 挑战的替代方法。

    Apr, 2024

  • SimGen：基于模拟器的驾驶场景生成

    通过混合模拟器和现实世界的数据，SimGen 模型能够学习生成具有多样性的驾驶场景，通过新颖的级联扩散管道解决了模拟到真实世界之间的差距和多条件冲突，并在保持可控性的基础上，获得卓越的生成质量和多样性。

    Jun, 2024

  • SelfD: 从网络数据中自学习的大规模驾驶策略

    介绍了 SelfD，一个利用海量在线图片的可扩展驾驶学习框架，使用半监督训练来从未标记数据中学习后效代理。通过利用伪标记步骤进行数据增强，SelfD 表现出可靠的驾驶性能，无需额外的数据收集或注释工作。

    Apr, 2022

  • DriveGAN：朝着可控的高质量神经仿真

    通过使用机器学习，该研究提出了一种能够通过观察图像数据和相关动作对来学习环境行为并进行建模的高质量神经模型，称为 DriveGAN，不需要监督信号训练控制模型，并在多个数据集上进行了训练和测试，表现优于之前的数据驱动模拟器，实现了对场景和非玩家对象的各个方面进行控制的新功能。

    Apr, 2021

  • 通过可控的长视频生成释放自主驾驶的泛化能力

    使用生成模型合成新数据已成为自动驾驶中解决数据稀缺问题的标准，然而现有方法在提高感知模型方面有效，但我们发现这些方法未能提高端到端自动驾驶模型的规划性能，原因在于生成的视频通常少于 8 帧且空间和时间不一致，为此我们提出了一种基于扩散的长视频生成方法 Delphi，通过跨多视角的共享噪声建模机制提高空间一致性，并引入特征对齐模块实现精确可控性和时间一致性，相比现有方法，我们的方法最多可生成 40 帧的视频而保持一致性，这是现有方法的 5 倍之多，进一步我们通过构建一个失败案例驱动框架，借助预训练视觉语言模型，设计了一种采样策略让 Delphi 生成类似于那些失败案例的新数据，提高了样本效率，广泛的实验证明我们的 Delphi 在驾驶规划中生成更高质量的长视频，首次超越现有最先进的方法，而且仅使用了训练数据集的 4％，我们的框架能够将自动驾驶模型的规划性能提升 25％。

    Jun, 2024

  • GenAD: 生成式端到端自动驾驶

    提出了一个新的端到端自动驾驶范式，自动驾驶的关键在于预测自车和周围环境随着时间的演变，通过生成建模问题通过 GenAD 框架，模型了自动驾驶问题，并在广泛使用的 nuScenes 基准测试中取得了高效的最新成果。

    Feb, 2024