我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

Aug, 2021

提出一种用于目标检测任务的知识蒸馏方法，通过设计图形化的知识结构来捕捉局部和全局信息，通过平衡节点和边的关系来进一步优化图形，并在 COCO 数据集上获得了最新的 state-of-the-art 结果。

Sep, 2021

本文提出一种基于知识蒸馏的语义分割方法，通过引入 Inter-class Distance Distillation (IDD) 模块来转移特征空间中的跨类距离，同时利用位置信息蒸馏模块来提高学生网络的位置编码能力，实验结果表明，该方法可以大幅度提高语义分割模型的准确性，达到 state-of-the-art 的性能水平。

May, 2022

在语义分割应用中，本研究提出了一种新的对比蒸馏学习范例，名为 Augmentation-free Dense Contrastive Knowledge Distillation (Af-DCD)，通过利用适当的特征分区，并采用一种基于掩码特征模仿策略和新颖的对比学习损失函数，有效地将教师模型学到的密集和结构化本地知识传递给目标学生模型，同时保持训练效率，达到了在多种主流基准测试中的有效性验证。

Dec, 2023

本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

本文提出了一种新的语义分割方法: EfficientFCN, 相较于基于 dilatedFCN 的方法，该方法既可以取得相似的高精度分割效果，又能够在计算成本上做到只有原来的 1/3，这一成果达到了一种性能和效率的平衡。

Aug, 2020

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

半监督语义分割的三视角知识蒸馏框架（TriKD）包括三视角编码器和双频解码器，并在 Pascal VOC 2012 和 Cityscapes 两个基准上进行了大量实验，结果表明该方法在精度和推理速度之间取得了良好的折衷。

Sep, 2023

本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

May, 2022

本文介绍了一种在线知识蒸馏框架，通过选择和交换可靠知识来协同学习基于卷积神经网络（CNN）和视觉变压器（ViT）的模型，以进行语义分割。经过大量实验验证，我们提出的框架在大幅领先于现有的在线蒸馏方法的同时，展示了 ViT 和 CNN 模型之间协同学习的有效性。

Jul, 2023