本研究提出了一种基于 Cross-Modality Knowledge Distillation (CMKD) 的半监督训练框架，通过跨模态知识蒸馏能够从大规模未标记数据中有效传输 LiDAR 模态到图像模态的知识，从而显著提高单目三维检测性能，使得该方法在 KITTI 测试集和 Waymo 验证集上的表现明显优于先前最先进的方法。

Nov, 2022

通过使用单目摄像头传感器进行教学助理知识蒸馏（MonoTAKD），结合了对于 3D 场景几何形状的理解与从单张图像中重构 3D 对象信息，实现了在 KITTI 3D 对象检测基准中的标杆性能。

Apr, 2024

本文提出了一种名为 CrossKD 的知识蒸馏方法，该方法通过将学生的检测头的中间特征输出到老师的检测头，从而将跨头预测强制与老师的预测相同，以提高学生的检测性能，并在 MS COCO 上得到了验证，性能优于所有现有的目标检测方法。

Jun, 2023

本文章提出了一种使用知识蒸馏技术开发高效 3D 物体检测器的方法，并在输入分辨率降低和模型压缩方面发掘教师学生模型的差异，基于现有的 KD 方法建立了一个基准测试，提出了一种改进的 KD 流程，最后在 Waymo 数据集上进行了大量实验，实现了比教师模型更高的精度和更快的运行速度。

May, 2022

通过训练基于多视角鸟瞰图（BEV）的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征，从而提高多视角 BEV 的表示学习，并通过有效的平衡策略和多尺度层的时间融合实现知识传输，实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型，达到了流行基准 nuScenes 的最新性能。

Sep, 2023

通过 VCD 框架，引入了学徒友好的多模态专家和时序融合友好的蒸馏监督，改善了仅相机学徒模型，并在 nuScenes 上取得了 63.1％ NDS 的最新性能。

Oct, 2023

该研究论文提出了一种基于图像的物体姿态估计方法，利用多模态方法学习的 3D 知识通过对比知识蒸馏框架有效地转移给单模态模型，使其在没有 3D 信息的情况下提升物体姿态估计准确率，实验证明了该方法的有效性。

Jun, 2022

本论文提出了一种基于结构化知识蒸馏的框架，旨在提高现代视觉仅 BEV 检测模型的效率，并在 nuScenes 基准测试上表现出显著的优越性，平均改善 2.16mAP 和 2.27NDS。

Nov, 2022

在自动驾驶的三维物体检测领域，LiDAR - 相机融合是性能最佳的传感器配置，但是由于成本较高，阻碍了该技术在消费级汽车中的采用。本研究提出了一种相机 - 雷达知识蒸馏（CRKD）框架，旨在弥合相机 - 雷达融合和 LiDAR - 相机融合之间的性能差距，并通过引入鸟瞰图表示作为共享特征空间，实现有效的知识蒸馏。通过四个蒸馏损失函数帮助学生模型从教师模型中学习关键特征，并在 nuScenes 数据集上进行了广泛的评估，展示了 CRKD 框架的有效性。

Mar, 2024

我们提出了一种新颖的知识蒸馏方法，通过使用面向对象的槽注意机制来改善事件相机的实时目标检测性能，减小与 RGB 检测器之间的性能差距。

Nov, 2023