我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

Aug, 2021

本文提出了一种利用形状先验知识和图像对齐模块，通过多模态数据协同分割医学图像的方法，并通过实验在 MMWHS 2017 数据集上验证了该方法在 CT 分割上的优越性。

Oct, 2020

我们提出了一种用于高效生物医学实例分割的图关系蒸馏方法，考虑了实例级特征、实例关系和像素边界这三种关键知识类型。我们引入了两种图蒸馏方案：实例图蒸馏（IGD）和亲和图蒸馏（AGD），通过保持实例图和像素亲和力的一致性来传递实例特征、实例关系和边界相关的知识。实验证明了我们方法的有效性，使得学生模型的参数少于 1% 且推理时间少于 10%，同时相较于教师模型具有有希望的性能。

Jan, 2024

本文介绍了一个用于医学图像分割的 KD-Net 框架，该框架可以从一个多模态网络（teacher）向一个单模态网络（student）传输知识，证明了其在使用 BraTS 2018 数据集进行脑肿瘤分割任务时，有效提高了分割的准确性。

Jun, 2021

本研究提出了一种新颖的多模式学习方案，以实现无配对交叉模态图像分割，该方案采用高度压缩的体系结构，通过共享所有卷积核跨 CT 和 MRI 和仅使用特定于模态的内部归一化层来对网络参数进行大量重用，通过知识蒸馏受启发的新颖损失项来显式约束我们推导出的模态之间的预测分布的 KL 散度来有效地训练这样的高度紧凑模型。在心脏结构分割和腹部器官分割两个多类分割问题上进行了广泛验证，实验结果表明，我们的新型多模式学习方案在两个任务上一致优于单模态培训和以前的多模式方法。

Jan, 2020

跨模态 MRI 分割是很有价值的计算机辅助医学诊断方法，但现有方法难以处理领域变化的局部差异，并且通常需要大量数据进行训练，这限制了其实际应用。为解决这些问题，我们提出了一种新颖的自适应领域泛化框架，它将基于图像梯度图的无学习跨领域表示与基于类先验的测试时适应策略相结合，以减轻局部领域变化。我们在两个多模态 MRI 数据集上验证了我们的方法，并进行了六个跨模态分割任务。在所有任务设置中，我们的方法始终优于竞争方法，并且在有限的训练数据下表现稳定。

Nov, 2023

本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

基于深度学习的医学影像模型由于硬件、采集参数、人群和伪影等异质性数据的限制，往往难以有效地推广到新的扫描任务中。本研究提出一种无监督方法，通过利用 MRI 特定的增强技术，在脑部 MRI 分割中实现鲁棒的领域适应。通过在多样的数据集、模态以及分割任务之间进行广泛的实验对我们的方法进行有效性评估，并与目前最先进的方法进行比较。结果表明，我们提出的方法在各种任务中均具有高准确性、广泛适用性，并且对于不同领域的转移表现出非凡的鲁棒性，超过了大部分情况下的最先进性能。

Aug, 2023

提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

Nov, 2020

本研究提出了一种新方法，通过域自适应和无监督知识蒸馏，联合优化卷积神经网络，实现压缩模型并适应于特定目标领域，结果表明该方法在实现较高准确度的同时，比现有的压缩和域自适应技术具有相当或更低的时间复杂度，在实际应用中有较好的应用前景。

May, 2020