Oct, 2023

BEVContrast：汽车激光雷达点云 BEV 空间的自我监督

PDF
TL;DR我们提出了一种简单而高效的自监督方法，用于汽车激光雷达点云的 3D 主干。我们在相同场景中捕获的激光雷达扫描的特征之间设计了对比损失。在 Bird's Eye View 平面的 2D 单元格级别上定义的对比度提供了 PointContrast 中利用的点级表示和 TARL 中利用的分割级表示之间的很好的平衡：我们保留了 PointContrast 的简单性（单元格表示计算廉价），同时超过了 TARL 在下游语义分割中的性能。
发现论文，激发创造
  • ContrastMotion: 大规模 LiDAR 点云自监督场景运动学习

    提出一种基于 LiDAR 的自主驾驶的自监督运动估计器，采用特征级一致性预测场景运动，使用 Soft 判别损失进行对比学习，使用门控多帧融合块自动学习点云帧之间的有效补偿，最终通过支柱关联预测支柱对应概率，进而预测场景运动。

    Apr, 2023

  • ContrastAlign：通过对比学习实现多模态三维目标检测中的稳健 BEV 特征对齐

    通过对比学习来增强异构模态的对齐性，提高融合过程的稳健性，该方法在 3D 目标检测任务中取得了最先进的性能，超过了 BEVFusion 1.8% 在 nuScenes 验证集上并且在存在对齐误差的条件下优于 BEVFusion 7.3%。

    May, 2024

  • CALICO: 用于 BEV 感知的自监督相机 - LiDAR 对比预训练

    研究了无人驾驶系统中多模态 BEV 感知的统一预训练框架，引入了 CALICO 框架，应用反差目标在 LiDAR 和相机骨干网络上实现教师模型的对比蒸馏，成功提高了 3D 目标检测和 BEV 地图分割等任务的表现。

    Jun, 2023

  • 基于占据估计的汽车激光雷达自我监督

    本论文提出一种基于自监督学习的点云深度感知模型预训练方法，通过表面重建预训练任务和基于潜在向量的感知头来抓取表面信息的语义片段并提高对象检测和场景语义分割性能。

    Dec, 2022

  • ProposalContrast：基于 LiDAR 的三维目标检测的无监督预训练

    提出了一种名为 ProposalContrast 的无监督点云预训练框架，该框架通过对比区域建议来学习强大的 3D 表示，从而更好地适应 3D 检测属性。

    Jul, 2022

  • 自监督镜像雷达蒸馏用于自动驾驶数据

    该研究提出了一种针对自动驾驶数据量身定制的自监督 3D 感知模型预训练方法，使用 superpixels 来池化 3D 点特征和 2D 像素特征，训练 3D 网络来匹配虚拟对应的 2D 像素特征并提取特征，从而实现无需任何点云或图像注释的 3D 语义分割和车辆物体检测，进行了大量的自动驾驶数据集实验以证明其有效性。

    Mar, 2022

  • 从 3D 到鸟瞰图的知识蒸馏用于 LiDAR 语义分割

    该研究提出了一种有效的三维（3D）到 Bird's-Eye-View（BEV）知识蒸馏方法，将丰富的知识从基于 Voxel 的模型传递到基于 BEV 的模型，该方法应用于自动驾驶领域的 LiDAR 点云分割任务中，明显提高了准确性，SemanticKITTI 数据集是该研究的实验验证平台。

    Apr, 2023

  • PatchContrast：自监督预训练用于 3D 物体检测

    基于自主车辆的关键挑战是准确检测环境中的物体。我们引入 PatchContrast，这是一个创新的自我监督点云预训练框架，用于 3D 物体检测。通过提出两个抽象层次的利用，我们学习未标记数据的判别性表示：提案级别和补丁级别。提案级别旨在确定物体相对于周围环境的位置，而补丁级别增加了关于物体组件之间内部连接的信息，从而根据它们的独立组件区分不同的对象。我们展示了如何将这些级别集成到自我监督预训练中以增强下游的 3D 检测任务，并证明我们的方法在三个常用的 3D 检测数据集上优于现有的最先进模型。

    Aug, 2023

  • BEVCar: 融合相机和雷达的纯电动车地图和物体分割

    通过将原始雷达数据编码为点云并将图像特征转化到鸟瞰空间中，我们引入了一种名为 BEVCar 的新型方法，用于联合 BEV 对象和地图分割，并且在 nuScenes 数据集上的实验表明，BEVCar 在环境条件复杂和远距离物体分割方面的性能优于现有技术。

    Mar, 2024

  • 基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

    本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

    Mar, 2022