Jan, 2024
通过 2D-3D 神经校准自学习 LiDAR 3D 点云
Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration
Yifan Zhang, Siyu Ren, Junhui Hou, Jinjian Wu, Guangming Shi
TL;DR这篇论文介绍了一种新颖的自监督学习框架，用于增强自动驾驶场景中的 3D 感知。该方法名为 NCLR，专注于 2D-3D 神经校准，一种估计相机和 LiDAR 坐标系统对齐的创新前提任务。通过学习可训练的转换对齐，我们建立了图像和点云数据之间的领域差距，将特征转换成统一的表示空间，以进行有效的比较和匹配，从而实现了图像和点云的整体级别对齐。我们还通过将预训练的骨干网络应用于 LiDAR 的 3D 语义分割、目标检测和泛光分割等下游任务，证明了 NCLR 的有效性。在各种数据集上进行的综合实验证明了 NCLR 相对于现有自监督方法的优越性，并且结果表明，不同模态的联合学习显著提高了网络的理解能力和学习表示的有效性。