本文提出了一种基于边界优先的知识蒸馏（BPKD）方法，该方法将教师模型的身体和边缘的知识与紧凑的学生模型分别蒸馏，并利用两个不同的损失函数：1）边缘损失，在边缘区域的像素级别上区分模糊类别；2）主体损失，利用形状约束和选择性注意内部语义区域中的主体部分。通过在三个流行的基准数据集上进行的实验证明，BPKD 提供了广泛的边缘和主体区域的改进和聚合，并在语义分割方面实现了最先进的蒸馏性能，突显了其有效性和泛化能力。BPKD 在各种轻量级语义分割结构上都有一致的提升，并提供了代码。

Jun, 2023

我们提出了一种用于高效生物医学实例分割的图关系蒸馏方法，考虑了实例级特征、实例关系和像素边界这三种关键知识类型。我们引入了两种图蒸馏方案：实例图蒸馏（IGD）和亲和图蒸馏（AGD），通过保持实例图和像素亲和力的一致性来传递实例特征、实例关系和边界相关的知识。实验证明了我们方法的有效性，使得学生模型的参数少于 1% 且推理时间少于 10%，同时相较于教师模型具有有希望的性能。

Jan, 2024

本文提出了一种创新的位掩码鲁棒对比知识蒸馏（BRCD）方法，专门用于蒸馏语义哈希模型，在语义哈希的上下文中，通过对比知识蒸馏目标，首先使教师和学生模型之间的语义空间相互对齐。此外，在知识蒸馏过程中引入了基于聚类的方法，以消除噪声增强，并确保鲁棒优化。通过位级分析，我们发现了由于位独立性属性而产生的冗余位的存在。为了减轻这些影响，我们在知识蒸馏目标中引入了位掩码机制。最后，广泛的实验不仅展示了我们的 BRCD 方法相对于其他知识蒸馏方法的显着性能，还证实了我们的方法在不同的语义哈希模型和骨干网络中的普遍性。

Mar, 2024

本文提出一种基于知识蒸馏的语义分割方法，通过引入 Inter-class Distance Distillation (IDD) 模块来转移特征空间中的跨类距离，同时利用位置信息蒸馏模块来提高学生网络的位置编码能力，实验结果表明，该方法可以大幅度提高语义分割模型的准确性，达到 state-of-the-art 的性能水平。

May, 2022

提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。

Aug, 2022

本文提出了一种跨图像关系知识蒸馏方法，通过结构化像素之间和区域之间的关系来提高学生模型的分割性能。在 Cityscapes，CamVid 和 Pascal VOC 数据集上的实验结果表明，该方法比现有的蒸馏方法效果更好。

Apr, 2022

本文提出一种名为类导向关系自知识蒸馏（CORSD）的新型训练框架，用于解决现有知识蒸馏的局限性，通过可训练的关系网络提取结构化数据输入的关系，从而将关系知识从深层次传递到浅层次，辅助分类器捕捉有利于分类任务的类导向关系，并在 CIFAR100、ImageNet 和 CUB-200-2011 等数据集上均取得显著进展。

Apr, 2023

知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在 ADE20K 数据集上，发现只有两种技术能与我们简单的基线相竞争。

Sep, 2023

本文提出了一种新型的参考语义分割网络（Ref-Net），结合了人类的视觉认知能力，采用参考目标特征和已有的开源数据集边界知识，通过参考分割模块和边界知识翻译模块，实现在只有几十个样本的有限监督下，较好地完成了多个数据集上的对象分割任务。

Aug, 2021

本文介绍了第一次尝试使用图像级别的类别标签作为监督来学习语义边界检测的方法，并且提出了一种基于多实例学习的任务形式，在区别不同类别的领域之间通过互相连线代表边界。我们提出的神经网络模型可以可靠地学习估计语义边界，即使是在多实例学习策略的不确定监督下，将其用于生成训练图像的伪语义边界标签，并使用这些标签来训练完全监督模型。最终模型在 SBD 数据集上取得了出色的表现，与一些使用更强监督的模型相当竞争。

Dec, 2022