该论文开发了一种名为鲁棒特征知识蒸馏（RFKD）的框架，通过从教师模型的逻辑层和中间特征图中提取知识，并利用混合的清晰和噪声图像将稳定的模式传递给学生模型，提高其精度、泛化性能和抗噪声性能，从而改善轻型裂缝分割模型的鲁棒性。验证结果表明，在噪声图像上，RFKD 相比于最先进的知识蒸馏方法在平均 Dice 分数上提高了 62%。

Apr, 2024

本文提出了一种基于边界优先的知识蒸馏（BPKD）方法，该方法将教师模型的身体和边缘的知识与紧凑的学生模型分别蒸馏，并利用两个不同的损失函数：1）边缘损失，在边缘区域的像素级别上区分模糊类别；2）主体损失，利用形状约束和选择性注意内部语义区域中的主体部分。通过在三个流行的基准数据集上进行的实验证明，BPKD 提供了广泛的边缘和主体区域的改进和聚合，并在语义分割方面实现了最先进的蒸馏性能，突显了其有效性和泛化能力。BPKD 在各种轻量级语义分割结构上都有一致的提升，并提供了代码。

Jun, 2023

该研究提出了一种有效的三维（3D）到 Bird's-Eye-View（BEV）知识蒸馏方法，将丰富的知识从基于 Voxel 的模型传递到基于 BEV 的模型，该方法应用于自动驾驶领域的 LiDAR 点云分割任务中，明显提高了准确性，SemanticKITTI 数据集是该研究的实验验证平台。

Apr, 2023

本文提出了一种基于多源知识蒸馏的 3D 点云语义分割方法，采用多到单的融合方式，通过实例感知亲和性蒸馏算法获取高级结构知识，实现对于难分类类别的提升。在 SemanticKITTI 数据集中实验证明，该方法在验证集和测试集上均显著优于基线方法。

Apr, 2023

本文提出了一种新颖的表示差异感知蒸馏（RDD）方法，通过从信息瓶颈的创新角度构建我们的 RDD，该方法可以有效地减小学生和教师之间在特征和逻辑上的提议区域对的差异，从而解决了表示差异问题，并减小了紧凑学生和过参数化教师之间的性能差距。

Aug, 2023

本文提出了一种基于点到体素知识蒸馏的方法，通过将隐藏层的知识从点级别和体素级别进行转移，采用困难感知的采样策略和点 - 体素相似度蒸馏，提高了 LiDAR 语义分割任务中教师模型向学生模型的知识压缩效果，同时在两个流行的基准数据集上实现了优于现有方法的精度和速度。

Jun, 2022

提出了一种利用多源信息进行自知识蒸馏的轻量级框架，其中包括反向引导方法和形状正则化方法，其在各种数据集和模型上的综合实验中表现优于基线和最先进的自知识蒸馏方法，同时具有计算效率和鲁棒性。

May, 2023

本文提出了 Feature Adversarial Distillation (FAD) 方法，在点云蒸馏中使用对抗性损失函数，通过攻击来自教师的反馈来获得学生的特征，从而在 40 倍模型压缩下，减少知识传递中的信息损失，同时保持了竞争性的性能。实验证明了该方法在 ModelNet40 和 ScanObjectNN 数据集上的有效性。

Jun, 2023

本文提出 PlanKD，这是第一个专门用于压缩端到端运动规划器的知识蒸馏框架，通过信息瓶颈策略和安全感知的逐点蒸馏模块，可以显著提升较小规模规划器的性能并减少参考时间。

Mar, 2024

本文章提出了一种使用知识蒸馏技术开发高效 3D 物体检测器的方法，并在输入分辨率降低和模型压缩方面发掘教师学生模型的差异，基于现有的 KD 方法建立了一个基准测试，提出了一种改进的 KD 流程，最后在 Waymo 数据集上进行了大量实验，实现了比教师模型更高的精度和更快的运行速度。

May, 2022