UniPAD: 自动驾驶的通用预训练范式

Oct, 2023

UniPAD: 自动驾驶的通用预训练范式

UniPAD: A Universal Pre-training Paradigm for Autonomous Driving

Honghui Yang, Sha Zhang, Di Huang, Xiaoyang Wu, Haoyi Zhu...

TL;DR在自动驾驶领域，有效特征学习的重要性被广泛认可。本文介绍了 UniPAD，一种应用 3D 体积可微分渲染的新型自监督学习范式。UniPAD 隐含地编码了 3D 空间，便于连续 3D 形状结构的重建和其 2D 投影的复杂外观特征。我们的方法的灵活性使其可以无缝集成到 2D 和 3D 框架中，实现对场景的更全面理解。我们通过在各种下游 3D 任务上进行广泛的实验，证明了 UniPAD 的可行性和有效性。我们的方法分别在激光雷达、摄像头和激光雷达 - 摄像头基线上提升了 9.1、7.7 和 6.9 NDS。值得注意的是，我们的预训练流程在 nuScenes 验证集上实现了 73.2 NDS 的 3D 物体检测和 79.4 mIoU 的 3D 语义分割，与以前的方法相比取得了最先进的结果。代码将在此 https URL 上提供。

Abstract

In the context of autonomous driving, the significance of effective feature learning is widely acknowledged. While conventional 3D self-supervised pre-training methods have shown widespread success, most methods follow the ideas originally designed for 2D images. In this paper, we pres

autonomous driving effective feature learning self-supervised learning 3d volumetric differentiable rendering 3d object detection

发现论文，激发创造

UniWorld：基于世界模型的自主驾驶预训练

该研究论文利用 Alberto Elfes 在 1989 年的先驱性工作中引入了占据栅格的概念，并为机器人赋予了一种空间 - 时间世界模型（UniWorld），从而感知其环境并预测其他参与者的未来行为。UniWorld 能够估计世界状态中缺失的信息，并预测世界的合理未来状态，该统一预训练框架在运动预测、多相机三维物体检测和周围场景语义完成等关键任务中展现了有希望的结果，对于实现真实世界的自动驾驶具有重要实用价值。

Aug, 2023

无需昂贵模块化和 3D 手动标注的端到端自动驾驶

我们提出了 UAD，一种基于视觉的端到端自动驾驶 (E2EAD) 方法，在 nuScenes 中实现了最佳的开环评估性能，同时在 CARLA 中显示出强大的闭环驾驶质量。

Jun, 2024

Uni3D: 多数据集三维物体检测的统一基线

该论文研究了如何训练一个来自多个数据集的统一 3D 检测器，提出了一种名为 Uni3D 的方法来解决数据级别和分类学级别的差异，证明了该方法的有效性并对进一步的 3D 泛化研究具有启发意义。

Mar, 2023

PonderV2：铺设通向通用预训练范式的 3D 基础模型之路

通过可微分神经渲染，我们提出了一个新的通用方法来学习点云表示，实现了 3D 和 2D 之间的无缝集成，并在室内和室外场景中的多个任务中实现了卓越的性能和持续改进。

Oct, 2023

UADA3D：基于稀疏 LiDAR 和大域差异的无监督敌对领域自适应三维物体检测

我们在这项研究中填补现有无监督领域自适应方法的空白，这些方法主要集中于适应已经建立的高密度自动驾驶数据集。我们专注于稀疏的点云，从不同的角度捕捉场景，不仅来自道路上的车辆，还来自人行道上的移动机器人，遇到显著不同的环境条件和传感器配置。我们引入了无监督对抗领域自适应三维物体检测（UADA3D），不依赖于预训练源模型和师生架构，而是使用对抗性方法直接学习域不变特征。我们在各种适应场景中证明了其功效，在自动驾驶汽车和移动机器人领域都取得了显著的改进。我们的代码是开源的，即将推出。

Mar, 2024

SimIPU: 简单的二维图片和三维点云无监督预训练，用于具有空间感的视觉表征

该研究提出了一个名为 SimIPU 的简单而有效的 2D 图像和 3D 点云无监督预训练策略，利用点云提供空间信息，通过对比学习框架来生成空间感知的图像表示。这是第一次探索对配对的相机图像和 LIDAR 点云进行对比学习预训练策略。

Dec, 2021

将自监督单目深度引入无监督域自适应中进行语义分割

通过利用自监督单目深度估计技术提高无监督域自适应方法的语义分割性能并达到最先进的自动驾驶水平。

Oct, 2021

构建通用 3D 大规模感知强预训练基准

通过构建一个 CSC 框架，我们综合使用视觉基础模型提供的语义线索和多模态信息的知识丰富的跨场景原型，实现了一种具有各种下游任务的更少微调工作量的通用 3D 预训练模型。

May, 2024

UniVision：一个统一的面向视觉中心的 3D 感知框架

UniVision 是一个简单高效的框架，统一了视觉导向的自动驾驶中的三维感知任务，包括占有率预测和物体检测，并在各项公开基准测试中取得了领先的结果。

Jan, 2024

自动驾驶中的无监督 3D 感知与 2D 视觉语言蒸馏

本文介绍了一种多模态自动标注流程，可以生成用于训练开放式类别的无标注 3D 边界框和轨迹，从而处理自动驾驶等安全关键应用中可能在部署后遇到的新物体类型。相比于当前领域的最新研究，我们的方法可以以无监督的方式处理静态和移动的对象，并通过提出的视觉 - 语言知识蒸馏方法输出开放式词汇的语义标签。基于 Waymo 开放数据集的实验证明，我们的方法在各种无监督 3D 感知任务上显著优于先前的工作。

Sep, 2023