Nov, 2023

泛影：面向自动驾驶的全景和可控视频生成

PDF
TL;DR本文介绍了 Panacea，一种创新方法，用于在驾驶场景中生成全景和可控的视频，生成无限多样化的、关键的自动驾驶样本，从而提高自动驾驶技术的先进性。Panacea 通过整合一种新颖的 4D 注意力和两阶段的生成流程来保持一致性，并利用 Bird's-Eye-View（BEV）布局的 ControlNet 框架实现精确控制。对 Panacea 在 nuScenes 数据集上进行的广泛定性和定量评估证明了其在生成高质量多视角驾驶场景视频方面的有效性。该工作通过有效增加用于高级 BEV 感知技术的训练数据集，显著推动了自动驾驶领域的发展。
autonomous drivingannotated training datapanacea4d attentionmulti-view driving-scene videos
发现论文，激发创造
  • 通过可控的长视频生成释放自主驾驶的泛化能力

    使用生成模型合成新数据已成为自动驾驶中解决数据稀缺问题的标准，然而现有方法在提高感知模型方面有效，但我们发现这些方法未能提高端到端自动驾驶模型的规划性能，原因在于生成的视频通常少于 8 帧且空间和时间不一致，为此我们提出了一种基于扩散的长视频生成方法 Delphi，通过跨多视角的共享噪声建模机制提高空间一致性，并引入特征对齐模块实现精确可控性和时间一致性，相比现有方法，我们的方法最多可生成 40 帧的视频而保持一致性，这是现有方法的 5 倍之多，进一步我们通过构建一个失败案例驱动框架，借助预训练视觉语言模型，设计了一种采样策略让 Delphi 生成类似于那些失败案例的新数据，提高了样本效率，广泛的实验证明我们的 Delphi 在驾驶规划中生成更高质量的长视频，首次超越现有最先进的方法，而且仅使用了训练数据集的 4％，我们的框架能够将自动驾驶模型的规划性能提升 25％。

    Jun, 2024

  • 360DVD: 360 度视频扩散模型下的可控全景视频生成

    提出了一种名为 360-Degree Video Diffusion model (360DVD) 的可控全景视频生成方法，通过引入 360-Adapter 轻量级模块和辅助 360 度增强技术，将预训练的文字到视频模型转化为生成全景视频的模型，并提出了 WEB360 数据集来训练 360DVD，实验证明其在全景视频生成方面具有卓越的优势和效果。

    Jan, 2024

  • 基于布局导向的多视角驾驶场景视频生成与潜在扩散模型

    通过 DrivingDiffusion 框架，在复杂的城市场景中生成大规模、逼真的多相机自动驾驶视频，无需额外成本。

    Oct, 2023

  • 将车辆映射到鸟瞰图中的学习

    本文提出了一种语义感知变换的方法，将仪表板摄像机视图中的检测结果映射到场景的更广泛、俯视的占用图中，通过大量的合成数据和深度神经网络的训练实现，结果表明该模型能够在真实世界的数据上进行泛化。

    Jun, 2017

  • 协同视频扩散：具有摄像机控制的一致多视频生成

    视频生成的研究最近取得了巨大的进展，使得高质量的视频可以从文字提示或图像中生成。为视频生成过程添加控制是一个重要的目标，并且最近的方法通过在相机轨迹上条件化视频生成模型来朝着这个目标迈进。然而，从多个不同相机轨迹生成相同场景的视频仍然具有挑战性。解决这个多视频生成问题可以实现可编辑相机轨迹的大规模三维场景生成等应用。我们引入了协作视频扩散（CVD）作为实现这一愿景的重要一步。CVD 框架包括一个新颖的跨视频同步模块，通过使用一个极线注意机制促进不同相机姿态下相同视频的对应帧之间的一致性。经过大量实验证明，在针对视频生成的最先进相机控制模块的基础上训练，CVD 生成的从不同相机轨迹渲染的多个视频比基准线具有显著更好的一致性。

    May, 2024

  • 消除盲区：将 3D 物体检测和单目深度估计应用于 360° 全景图像

    本研究提出了一种处理全景图像的深度学习算法，通过样式和投影转换，重新训练和调整现有的算法，从单目全景图像中恢复场景深度和车辆的三维姿态，大大提高了无人驾驶汽车使用全景摄像头时的准确性。

    Aug, 2018

  • 基于学习的扫描路径辅助盲人全景视频质量评估

    提出了一种基于视觉扫描路径通过用户视觉浏览模式的全程优化的盲目全景视频质量评估方法，包括扫描路径生成器和质量评估器，通过将全景图像视为由相同帧组成的视频，实现对全景图像的直接质量评估，并在三个公共全景图像和视频质量数据集上的实验证实了该方法的优越性。

    Mar, 2024

  • 全景视觉 Transformer 用于 360 度视频显著性检测

    本文提出了一种名为 Panoramic Vision Transformer（PAVER）的新框架，能够使用 Vision Transformer 结合可变形卷积从 360 度视频的局部特征中学习视觉显著性，从而在 Wild360 基准测试上显著优于其他先进模型，无需监督或辅助信息。

    Sep, 2022

  • MagicDrive3D: 街景中任意视角渲染的可控 3D 生成

    我们引入了 MagicDrive3D，这是一种创新的管道，用于可控的 3D 街道场景生成，支持多条件控制，包括 BEV 地图、3D 对象和文本描述。与先前的方法不同的是，MagicDrive3D 首先训练视频生成模型，然后再进行重建，从而实现了易于控制的生成和静态场景获取，从而实现了高质量的场景重建。通过对 nuScenes 数据集的验证，MagicDrive3D 生成了多样化、高质量的 3D 驾驶场景，支持任意视角渲染，并增强了诸如 BEV 分割之类的下游任务。我们的结果展示了该框架卓越的性能，展示了它在自动驾驶仿真及其他领域的变革潜力。

    May, 2024

  • 自主驾驶的广义预测模型

    本文介绍了自动驾驶学科中第一个大规模视频预测模型。通过从网络获取大量数据并与多样且高质量的文本描述配对，我们消除了高成本数据收集的限制并增强了模型的泛化能力。该数据集积累了超过 2000 小时的行驶视频，涵盖了全球各地不同的气候条件和交通场景。我们的模型名为 GenAD，并继承了最近潜变扩散模型的优点，利用新颖的时间推理块处理行驶场景中具有挑战性的动态。我们展示了它可以以零 - shot 方式泛化到各种未见过的行驶数据集，超过了一般或专门针对行车的视频预测模型。此外，GenAD 可以适应动作条件化预测模型或运动规划器，具有在实际行驶应用中巨大潜力。

    Mar, 2024