本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

Aug, 2023

针对语义分割中的计算效率和精度问题，本文提出一种知识蒸馏方法，利用预训练自编码器在转移潜空间内优化特征相似度，同时引入亲和力蒸馏模块以计算整个图像的远程依赖，将经典的深度 FCN 用于大步长下进行语义分割，实验证明，所提出的方法不仅可以提高小型 FCN 的精度，还可以使用较少的 FLOPS 训练出优秀的小型模型。

Mar, 2019

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

本研究提出了一种新颖的多模式学习方案，以实现无配对交叉模态图像分割，该方案采用高度压缩的体系结构，通过共享所有卷积核跨 CT 和 MRI 和仅使用特定于模态的内部归一化层来对网络参数进行大量重用，通过知识蒸馏受启发的新颖损失项来显式约束我们推导出的模态之间的预测分布的 KL 散度来有效地训练这样的高度紧凑模型。在心脏结构分割和腹部器官分割两个多类分割问题上进行了广泛验证，实验结果表明，我们的新型多模式学习方案在两个任务上一致优于单模态培训和以前的多模式方法。

Jan, 2020

通过基于关系的知识框架和轻量级模型，实现了医学图像分割领域中的多种数据源的集成，提高了模型的泛化能力和适应性，同时减少了推理时间和存储使用，成为实时医学图像分割的实用和高效的解决方案。

Apr, 2024

本文提出了一种利用形状先验知识和图像对齐模块，通过多模态数据协同分割医学图像的方法，并通过实验在 MMWHS 2017 数据集上验证了该方法在 CT 分割上的优越性。

Oct, 2020

该论文从知识分类、训练方案、教师 - 学生架构、蒸馏算法、性能比较和应用等方面全面调查了知识蒸馏。并简要回顾了知识蒸馏中的挑战，并探讨了未来的研究方向。

Jun, 2020

知识蒸馏在医学成像任务（如肾脏和肝脏肿瘤分割）中的应用面临挑战，为解决这些问题，我们提出了分层选择性反馈蒸馏（HLFD）方法，通过从中间层到较早层的蒸馏，以及将最终层的知识以特征和像素级别转移到中间层，实现模型从早期层学习更高质量的表示，从而生成一个稳健且紧凑的学生模型。大量的定量评估表明，HLFD 方法显著优于现有方法，在肾脏分割任务中，与无知识蒸馏的学生模型相比，HLFD 提升了 10 个百分点以上，显著改善了对肿瘤特定特征的关注。从质量上看，使用 HLFD 训练的学生模型能够抑制不相关信息，聚焦于肿瘤特定细节，为更高效准确的诊断工具开辟了新路径。

Nov, 2023

知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在 ADE20K 数据集上，发现只有两种技术能与我们简单的基线相竞争。

Sep, 2023