CVPRMar, 2024

CRKD：拥有跨模态知识蒸馏的增强型相机 - 雷达目标检测

PDF
TL;DR在自动驾驶的三维物体检测领域，LiDAR - 相机融合是性能最佳的传感器配置，但是由于成本较高，阻碍了该技术在消费级汽车中的采用。本研究提出了一种相机 - 雷达知识蒸馏（CRKD）框架，旨在弥合相机 - 雷达融合和 LiDAR - 相机融合之间的性能差距，并通过引入鸟瞰图表示作为共享特征空间，实现有效的知识蒸馏。通过四个蒸馏损失函数帮助学生模型从教师模型中学习关键特征，并在 nuScenes 数据集上进行了广泛的评估，展示了 CRKD 框架的有效性。
3d object detectionlidar-camera fusioncamera-radar fusionknowledge distillationbird's-eye-view representation
发现论文，激发创造
  • 基于相机和雷达的网络实现精确、稳健、高效的三维感知

    本文提出了一种名为 CRN 的相机 - 雷达融合框架，通过使用轻量的雷达测量精确远程物体的位置和空间信息，配合多模激活的可变注意力机制生成丰富的语义和准确的俯视特征图，使该系统在自动驾驶领域表现出色。

    Apr, 2023

  • CR3DT：相机 - 雷达融合用于三维检测与跟踪

    自动驾驶中，识别和追踪周围物体是必不可少的。本论文提出了一种相机 - 雷达融合模型用于三维物体检测和多目标追踪，通过合并雷达传感器的空间和速度信息，实现了检测和追踪能力的大幅提升。

    Mar, 2024

  • RCM-Fusion：雷达 - 相机多级融合的三维物体检测

    本文提出了雷达 - 相机多层融合（RCM-Fusion）方法，通过特征级和实例级融合方法充分利用雷达信息，实验结果在公开的 NuScenes 数据集上表明我们的方法在 NuScenes 三维物体检测基准上取得了最先进的性能，检测分数（NDS）较仅相机方法提高了 11.8%。

    Jul, 2023

  • 单目 3D 物体检测的跨模态知识蒸馏网络

    本研究提出了一种基于 Cross-Modality Knowledge Distillation (CMKD) 的半监督训练框架，通过跨模态知识蒸馏能够从大规模未标记数据中有效传输 LiDAR 模态到图像模态的知识，从而显著提高单目三维检测性能，使得该方法在 KITTI 测试集和 Waymo 验证集上的表现明显优于先前最先进的方法。

    Nov, 2022

  • RCBEVDet: 用于三维物体检测的鸟瞰雷达 - 摄像头融合

    RCBEVDet 是一种在鸟瞰视角下将雷达和相机融合的三维物体检测方法，通过设计 RadarBEVNet 网络进行雷达鸟瞰特征提取，并结合交叉注意力多层融合模块实现自动对齐和融合多模态特征，取得了领先于现有方法的检测结果。

    Mar, 2024

  • DistillBEV：利用跨模态知识蒸馏提升多摄像头三维目标检测

    通过训练基于多视角鸟瞰图（BEV）的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征，从而提高多视角 BEV 的表示学习，并通过有效的平衡策略和多尺度层的时间融合实现知识传输，实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型，达到了流行基准 nuScenes 的最新性能。

    Sep, 2023

  • 跨模态、任务和阶段的知识蒸馏：用于多摄像头三维物体检测的方法

    本文提出 X^3KD，一种基于多模态、多任务、多阶段的知识蒸馏框架，通过跨任务蒸馏、跨模态特征蒸馏、对抗训练以及跨模态输出蒸馏等方式，改进了基于多摄像头图像的 3D 物体检测模型性能，最终 X^3KD 模型在 nuScenes 和 Waymo 数据集上取得了最新的最佳性能表现，并且具有推广到基于雷达的 3D 物体检测的能力。

    Mar, 2023

  • 3D-CVF：使用跨视角空间特征融合生成联合相机和激光雷达特征进行 3D 物体检测

    提出了一种新的深度架构，用于将相机和 LiDAR 传感器融合以进行 3D 物体检测，该方法称为 3D-CVF，通过交叉视图空间特征融合策略，使用自动校准投影将相机和 LiDAR 特征组合，该方法在 KITTI 基准测试中实现了最先进的性能。

    Apr, 2020

  • 基于深度学习的雷达和摄像头传感器融合架构用于物体检测

    本文提出了一种通过融合镜头和雷达数据的 CameraRadarFusionNet 网络，在二维目标检测技术上取得了优于目前最新图像网络的性能，同时使用了专注于某一特定传感器类型的普遍训练策略 BlackIn。

    May, 2020

  • CRAFT：基于空间 - 上下文融合 Transformer 的相机 - 雷达三维物体检测

    提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

    Sep, 2022