本文提出 X^3KD，一种基于多模态、多任务、多阶段的知识蒸馏框架，通过跨任务蒸馏、跨模态特征蒸馏、对抗训练以及跨模态输出蒸馏等方式，改进了基于多摄像头图像的 3D 物体检测模型性能，最终 X^3KD 模型在 nuScenes 和 Waymo 数据集上取得了最新的最佳性能表现，并且具有推广到基于雷达的 3D 物体检测的能力。

Mar, 2023

我们提出了一种具有交叉模态知识蒸馏的双向融合网络（CMDFusion），通过 2D 到 3D 融合和 3D 到 2D 融合显式和隐式增强了 3D 特征，并通过从 2D 网络到 3D 网络的蒸馏传递 2D 知识，使得 3D 网络能够根据 3D LIDAR 输入生成 2D 信息，无需在推理过程中使用 RGB 图像。我们的 CMDFusion 在 SemanticKITTI 和 nuScenes 数据集上表现出了最佳性能。

Jul, 2023

利用深度信息，无需任何三维标注或其他训练数据，SKD-WM3D 提出了一种弱监督的单目三维检测框架，通过融合深度信息将图像特征转化为三维表示，有效地消除了单目场景中的深度歧义。实验证明，SKD-WM3D 明显超过了最先进的方法，甚至与许多全监督方法相媲美。

Feb, 2024

通过使用单目摄像头传感器进行教学助理知识蒸馏（MonoTAKD），结合了对于 3D 场景几何形状的理解与从单张图像中重构 3D 对象信息，实现了在 KITTI 3D 对象检测基准中的标杆性能。

Apr, 2024

基于 Spearman 相关系数的单目 3D 检测的知识蒸馏框架 MonoSKD，在 KITTI 3D 目标检测基准测试上取得了最先进的性能，没有额外的推理计算成本。

Oct, 2023

在自动驾驶的三维物体检测领域，LiDAR - 相机融合是性能最佳的传感器配置，但是由于成本较高，阻碍了该技术在消费级汽车中的采用。本研究提出了一种相机 - 雷达知识蒸馏（CRKD）框架，旨在弥合相机 - 雷达融合和 LiDAR - 相机融合之间的性能差距，并通过引入鸟瞰图表示作为共享特征空间，实现有效的知识蒸馏。通过四个蒸馏损失函数帮助学生模型从教师模型中学习关键特征，并在 nuScenes 数据集上进行了广泛的评估，展示了 CRKD 框架的有效性。

Mar, 2024

该研究提出了一种利用激光雷达信号将空间信息引入单目三维检测器的简单有效方案，实验结果显示该方法明显提升了基线模型的性能，并在 KITTI 基准测试中排名第一。

Jan, 2022

本文提出了一种新颖的半监督主动学习 (SSAL) 框架，用于配备了激光雷达的单目 3D 物体检测，利用了模型开发过程中所收集的所有数据的多模态。通过利用激光雷达来指导单目 3D 检测器的数据选择和训练，不在推理阶段引入任何开销，并采用半监督学习中的激光雷达教师，单目学生交叉模态框架，用于从未标记数据中蒸馏信息作为伪标签，以处理传播噪声等问题。文中也给出了用于选择需标记样本的传感器一致性基础选择评分的解决方案，同时也符合训练目标。本文在 KITTI 和 Waymo 数据集上广泛实验，验证了所提出方法的有效性。具体来说，所提出的选择策略在成本节省方面始终优于现有主动学习基线，在标签成本上节约了高达 17% 的成本；训练策略在 KITTI 3D 和 BEV 单目物体检测官方基准中获得了最佳成绩，将 BEV 平均精度提高了 2.02。

Jul, 2023

通过半监督学习，利用大量未标记的数据，我们提出了 ODM3D 框架，通过跨模态知识蒸馏和新增的数据增强策略来提高单眼 3D 物体检测器的性能，取得了在 KITTI 验证和测试基准上的第一名成绩，显著超过所有现有的单眼方法（监督或半监督）在 BEV 和 3D 检测指标上。

Oct, 2023

KM3D-Net 提出了一种基于 RGB 图像和关键点的单次检测框架，通过结合完全卷积模型、几何约束和不依赖 CAD 模型、深度生成器，以及一种有效的半监督训练策略，实现了卓越的检测表现，并超过以前所有的最先进方法。

Sep, 2020