提出一种用于目标检测任务的知识蒸馏方法，通过设计图形化的知识结构来捕捉局部和全局信息，通过平衡节点和边的关系来进一步优化图形，并在 COCO 数据集上获得了最新的 state-of-the-art 结果。

Sep, 2021

针对视觉丰富的文档应用（如文档布局分析和文档图像分类），本文探讨了知识蒸馏（KD）。通过设计一种 KD 实验方法，我们研究了不同架构和容量的骨干模型之间的知识传递策略对教师 - 学生知识差距的影响，并发现一些方法可以始终优于监督学生训练。此外，我们设计了下游任务设置，评估了蒸馏的布局分析模型在零样本布局感知文档视觉问答上的鲁棒性，结果表明存在较大的知识差距，强调进一步探索如何高效获得更多的语义文档布局意识的必要性。

Jun, 2024

本文提出了一种基于结构相似性的知识蒸馏替代方法，通过考虑特征空间的对比度、结构线索、相关性和空间依赖性，在中间特征层面进行指导。在 MSCOCO 上的实验表明，这种方法简单易行、计算开销小，同时在不同的训练方案和网络架构上都能显著提高模型性能。

Nov, 2022

该论文研究了如何将大型神经网络中的结构信息转移到紧凑型神经网络中，以用于计算机视觉中的密集预测任务，提出了从大型神经网络到紧凑型神经网络的结构蒸馏算法，并通过三个密集预测任务的实验展示了方法的有效性。

Mar, 2019

本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

May, 2021

本文提出了一种基于本地化知识蒸馏的方法，在目标检测中通过学习有价值的本地化区域知识和确定哪些区域应该用于蒸馏来提高 AP 得分。这种简单而有效的知识蒸馏技术可以优化深度学习模型的性能。

Feb, 2021

本文提出了一种名为 CrossKD 的知识蒸馏方法，该方法通过将学生的检测头的中间特征输出到老师的检测头，从而将跨头预测强制与老师的预测相同，以提高学生的检测性能，并在 MS COCO 上得到了验证，性能优于所有现有的目标检测方法。

Jun, 2023

本文提出一种基于属性图的全局知识蒸馏方法，通过自适应地聚合相关样本的单独知识，将它们与关系型邻域样本的关联知识整合成统一的图嵌入，并以对比的方式训练学生网络来蒸馏全局知识。

Aug, 2021

提出一种基于特征的知识不确定性蒸馏范式，能够与现有的蒸馏方法无缝集成，通过蒙特卡洛 dropout 技术引入知识不确定性，提高学生模型对潜在知识的探索能力，并在目标检测任务中获得有效性验证。

Jun, 2024

研究如何应用知识蒸馏策略到目标检测中，同时提出了一种适用于同质和异质教师 - 学生的有效框架。通过提出一种新的语义引导特征模仿技术，以及引入对比蒸馏来有效地捕捉不同区域的信息编码关系，我们的方法在多个检测基准上持续优于现有的检测 KD 技术。

Aug, 2021