AAAIJan, 2023

StereoDistill: 从 LiDAR 中精选要素，用于精炼基于立体视觉的三维物体检测

PDF
TL;DR本文提出了一种跨模态蒸馏方法 StereoDistill，通过在响应级别上从优秀的 LiDAR 模型中提取立体探测器，缩小了立体和基于 LiDAR 的方法之间的差距，其中的关键设计是：用于回归的 X 组件引导蒸馏（XGD）和用于分类的交叉锚定逻辑蒸馏（CLD）。
cross-modal distillationstereodistill3d object detectionx-component guided distillationcross-anchor logit distillation
发现论文，激发创造
  • MonoDistill: 学习单目三维物体检测的空间特征

    该研究提出了一种利用激光雷达信号将空间信息引入单目三维检测器的简单有效方案，实验结果显示该方法明显提升了基线模型的性能，并在 KITTI 基准测试中排名第一。

    Jan, 2022

  • RadarDistill：通过从激光雷达特征进行知识蒸馏，提升基于雷达的物体检测性能

    通过使用 LiDAR 数据，RadarDistill 提出了一种新的知识蒸馏（KD）方法，可以改善雷达数据的表示，成功地将 LiDAR 特征的理想特性转移到雷达特征中，从而实现了基于雷达的物体检测任务的最先进性能，并显著改进了相机 - 雷达融合模型的性能。

    Mar, 2024

  • X 射线精简弱到强的三维物体检测

    提出了一种新颖的方法，通过使用 X 射线视觉模型引入 Object-Complete frames 来处理 LiDAR 在 3D 物体检测中的稀疏性和遮挡问题，并且应用于半监督和监督学习场景中，取得了优于现有方法 1-1.5 mAP 的性能提升。

    Mar, 2024

  • LiDAR 蒸馏：弥合 3D 目标检测激光雷达束诱导的领域差距

    本文提出了 LiDAR 蒸馏来弥补由于 3D 物体检测中不同 LiDAR 光束引起的领域差异问题，并通过实验表明该方法有效。

    Mar, 2022

  • 单目 3D 物体检测的跨模态知识蒸馏网络

    本研究提出了一种基于 Cross-Modality Knowledge Distillation (CMKD) 的半监督训练框架，通过跨模态知识蒸馏能够从大规模未标记数据中有效传输 LiDAR 模态到图像模态的知识，从而显著提高单目三维检测性能，使得该方法在 KITTI 测试集和 Waymo 验证集上的表现明显优于先前最先进的方法。

    Nov, 2022

  • LIGA-Stereo: 基于学习的 LiDAR 几何感知表征的立体 3D 检测器

    提出了基于 LiDAR 几何感知和 2D 语义监督的低成本、高性能的 LIGA-Stereo 模型，通过学习 LiDAR 模型的高级几何感知表示来改进立体声检测器的 3D 感知，并直接提供 2D 语义监督以提高语义表示能力，实验结果表明在车辆、行人、骑车者的 3D 检测 mAP 方面得到了显著的提高。

    Aug, 2021

  • PartDistill: 视觉语言模型蒸馏下的三维形状部分分割

    该研究提出了一个跨模态蒸馏框架 PartDistill，将二维视觉 - 语言模型的知识转移给三维形状的部分分割，通过解决三个主要挑战（二维投影中不可见或未检测区域的三维分割缺失、VLM 的二维预测不准确和不一致、不同三维形状之间的知识积累不足），PartDistill 在该任务中取得了显著的进展。通过在框架内进行正向和反向的蒸馏，PartDistill 能够提高最终的三维部分分割结果，并且可以利用生成模型生成用于蒸馏的知识源。在广泛使用的 ShapeNetPart 和 PartE 数据集上进行的大量实验证明，PartDistill 相比现有方法在 mIoU 分数上显著提升，分别高出 15% 和 12%。

    Dec, 2023

  • MonoSKD：通过 Spearman 等级相关系数进行单目三维物体检测的通用蒸馏框架

    基于 Spearman 相关系数的单目 3D 检测的知识蒸馏框架 MonoSKD，在 KITTI 3D 目标检测基准测试上取得了最先进的性能，没有额外的推理计算成本。

    Oct, 2023

  • 稠密物体检测的区域定位蒸馏

    本文提出了一种基于本地化知识蒸馏的方法，在目标检测中通过学习有价值的本地化区域知识和确定哪些区域应该用于蒸馏来提高 AP 得分。这种简单而有效的知识蒸馏技术可以优化深度学习模型的性能。

    Feb, 2021

  • 自主驾驶中单目 3D 物体检测的伪立体方法

    通过提出一个伪立体式的三维检测框架，包括三种新颖的虚拟视图生成方法和基于视差动态卷积的特征滤波，从单张图片中进行三维物体检测，该方法在 KITTI-3D 基准测试中获得了车辆、行人和骑行者三个类别的第一名。

    Mar, 2022