Nov, 2023

知识蒸馏中肾脏和肝脏肿瘤分割的中间层设计重新思考

PDF
TL;DR知识蒸馏在医学成像任务（如肾脏和肝脏肿瘤分割）中的应用面临挑战，为解决这些问题，我们提出了分层选择性反馈蒸馏（HLFD）方法，通过从中间层到较早层的蒸馏，以及将最终层的知识以特征和像素级别转移到中间层，实现模型从早期层学习更高质量的表示，从而生成一个稳健且紧凑的学生模型。大量的定量评估表明，HLFD 方法显著优于现有方法，在肾脏分割任务中，与无知识蒸馏的学生模型相比，HLFD 提升了 10 个百分点以上，显著改善了对肿瘤特定特征的关注。从质量上看，使用 HLFD 训练的学生模型能够抑制不相关信息，聚焦于肿瘤特定细节，为更高效准确的诊断工具开辟了新路径。
knowledge distillationmedical imaging taskskidney and liver tumor segmentationhierarchical layer-selective feedback distillationstudent model
发现论文，激发创造
  • 基于知识蒸馏的高效医学图像分割

    我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

    Aug, 2021

  • 多任务多尺度对比知识蒸馏在高效医学图像分割中的应用

    本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

    Jun, 2024

  • 信息流建模的异质知识蒸馏

    本文提出了一种新的知识蒸馏方法，通过建模教师模型各层之间的信息流，训练学生模型来模拟信息流。该方法通过适当的监督方案解决了训练过程中不同阶段的监管问题，并设计和训练了一个适当的辅助教师模型，作为一种代理模型，能够 “解释” 教师的工作方式给学生。实验证明该方法对于四个图像数据集和多种不同的评估设置均有效。

    May, 2020

  • 让学生决策的知识蒸馏层

    通过引入可学习的 KD 层和模板学习方法，我们提出一种新的知识蒸馏技术，实现了对学生模型在中间层中进行特征变换的显式控制，并在多个分类基准测试中验证了其有效性。

    Sep, 2023

  • RAIL-KD：随机中间层映射用于知识蒸馏

    通过随机选择教师模型中的中间层进行蒸馏，提出了一种新的中间层知识蒸馏方法 RAIL-KD，它可以改善传统的知识蒸馏方法，并提高学生模型的泛化能力，同时具有更低的计算成本。在 GLUE 任务和域外测试集上，RAIL-KD 方法表现优于其他同类方法。

    Sep, 2021

  • 面向非独立同分布数据的基于标签的联邦学习知识蒸馏

    提出一种名为 Full-stack FL 的新型联邦学习框架，通过使用分层网络架构和标签驱动的知识蒸馏技术，解决大规模 IoT 网络下的可扩展性问题和异构数据环境下的鲁棒性问题，从而在所有全局蒸馏中显著提高了联邦学习的效率。

    Sep, 2022

  • BERT 模型压缩的患者知识蒸馏

    本研究提出了病人知识蒸馏方法，将原始大模型（老师）压缩成同样有效的轻型浅层网络（学生），以缓解大规模模型训练中的计算资源需求，并在多个 NLP 任务中获得改进的结果和培养效率的显著提高。

    Aug, 2019

  • 学生友好的知识蒸馏

    本文提出了一种基于教师模型稍加简化后的知识表示的学生友好型知识蒸馏方法（SKD），其包含软化处理和学习简化器，通过联合训练确保知识简化过程与学生模型的训练目标相关，提高了训练效率和准确性。实验结果表明，该方法在 CIFAR-100 和 ImageNet 数据集上取得了最优性能。

    May, 2023

  • 理解和改善知识蒸馏

    本研究探讨了知识蒸馏的三个不同层次 —— 宇宙，领域以及实例，发现这三个因素在知识蒸馏中起着重要作用，并在大量实证研究基础上，诊断了某些知识蒸馏应用失败的情况。

    Feb, 2020

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019