CALICO: 用于 BEV 感知的自监督相机 - LiDAR 对比预训练

Jun, 2023

CALICO: 用于 BEV 感知的自监督相机 - LiDAR 对比预训练

CALICO: Self-Supervised Camera-LiDAR Contrastive Pre-training for BEV Perception

Jiachen Sun, Haizhong Zheng, Qingzhao Zhang, Atul Prakash, Z. Morley Mao...

TL;DR研究了无人驾驶系统中多模态 BEV 感知的统一预训练框架，引入了 CALICO 框架，应用反差目标在 LiDAR 和相机骨干网络上实现教师模型的对比蒸馏，成功提高了 3D 目标检测和 BEV 地图分割等任务的表现。

Abstract

Perception is crucial in the realm of autonomous driving systems, where bird's eye view (BEV)-based architectures have recently reached state-of-the-art performance. The desirability of self-supervised representation learning stems from the expensive and laborious process of annotating

autonomous driving self-supervised learning multimodal perception contrastive objectives 3d object detection

发现论文，激发创造

BEVContrast：汽车激光雷达点云 BEV 空间的自我监督

我们提出了一种简单而高效的自监督方法，用于汽车激光雷达点云的 3D 主干。我们在相同场景中捕获的激光雷达扫描的特征之间设计了对比损失。在 Bird's Eye View 平面的 2D 单元格级别上定义的对比度提供了 PointContrast 中利用的点级表示和 TARL 中利用的分割级表示之间的很好的平衡：我们保留了 PointContrast 的简单性（单元格表示计算廉价），同时超过了 TARL 在下游语义分割中的性能。

Oct, 2023

DistillBEV：利用跨模态知识蒸馏提升多摄像头三维目标检测

通过训练基于多视角鸟瞰图（BEV）的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征，从而提高多视角 BEV 的表示学习，并通过有效的平衡策略和多尺度层的时间融合实现知识传输，实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型，达到了流行基准 nuScenes 的最新性能。

Sep, 2023

利用自监督实例对比学习进行雷达物体检测

本文提出了一种自我监督学习的雷达目标检测预训练框架 RiCL，通过利用雷达的检测和时间信息，可以用较少的数据来预训练目标检测模型，实验结果表明我们的方法在范围 - 多普勒图中可以学习到物体的通用表示，并且只需要使用整个训练集数据 20% 的标注数据就能达到与监督学习相似的 M-Average [email protected]。

Feb, 2024

ProposalContrast：基于 LiDAR 的三维目标检测的无监督预训练

提出了一种名为 ProposalContrast 的无监督点云预训练框架，该框架通过对比区域建议来学习强大的 3D 表示，从而更好地适应 3D 检测属性。

Jul, 2022

基于占据估计的汽车激光雷达自我监督

本论文提出一种基于自监督学习的点云深度感知模型预训练方法，通过表面重建预训练任务和基于潜在向量的感知头来抓取表面信息的语义片段并提高对象检测和场景语义分割性能。

Dec, 2022

ContrastAlign：通过对比学习实现多模态三维目标检测中的稳健 BEV 特征对齐

通过对比学习来增强异构模态的对齐性，提高融合过程的稳健性，该方法在 3D 目标检测任务中取得了最先进的性能，超过了 BEVFusion 1.8% 在 nuScenes 验证集上并且在存在对齐误差的条件下优于 BEVFusion 7.3%。

May, 2024

自监督镜像雷达蒸馏用于自动驾驶数据

该研究提出了一种针对自动驾驶数据量身定制的自监督 3D 感知模型预训练方法，使用 superpixels 来池化 3D 点特征和 2D 像素特征，训练 3D 网络来匹配虚拟对应的 2D 像素特征并提取特征，从而实现无需任何点云或图像注释的 3D 语义分割和车辆物体检测，进行了大量的自动驾驶数据集实验以证明其有效性。

Mar, 2022

面向视觉的三维目标检测的几何感知预训练

提出了一种名为 GAPretrain 的几何意识预训练框架，通过使用几何丰富的模态和来自 LiDAR 点云的结构提示，实现跨不同模态之间的属性转移，从而解决多镜头自动驾驶中图像和视角不一致的问题，实现了很好的效果。

Apr, 2023

Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

May, 2023

通过 2D-3D 神经校准自学习 LiDAR 3D 点云

这篇论文介绍了一种新颖的自监督学习框架，用于增强自动驾驶场景中的 3D 感知。该方法名为 NCLR，专注于 2D-3D 神经校准，一种估计相机和 LiDAR 坐标系统对齐的创新前提任务。通过学习可训练的转换对齐，我们建立了图像和点云数据之间的领域差距，将特征转换成统一的表示空间，以进行有效的比较和匹配，从而实现了图像和点云的整体级别对齐。我们还通过将预训练的骨干网络应用于 LiDAR 的 3D 语义分割、目标检测和泛光分割等下游任务，证明了 NCLR 的有效性。在各种数据集上进行的综合实验证明了 NCLR 相对于现有自监督方法的优越性，并且结果表明，不同模态的联合学习显著提高了网络的理解能力和学习表示的有效性。

Jan, 2024