注意细节：跨分辨率知识蒸馏
本文介绍了一种用于减小大规模计算机视觉模型尺寸、同时不影响性能的知识蒸馏方法，并且明确了影响该方法有效性的设计选择。通过全面的实验研究，我们在多种视觉数据集上获得了令人信服的结果，并实现了在 ImageNet 数据集上的 ResNet-50 模型的最新表现，其 top-1 准确率为 82.8％。
Jun, 2021
本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。
Jun, 2024
通过使用深度学习技术和数据集蒸馏方法，我们构建了一个小型合成数据集，其中包含最具信息量的人可读的合成图像，用于进行下游分类模型训练，并获得适用于实际应用的性能表现。
Jun, 2024
知识蒸馏是一种将复杂模型压缩为更小更简单的技术，本论文综述了知识蒸馏的原理、技术和在计算机视觉领域的应用，并专注于探讨知识蒸馏的好处以及提高其有效性所需克服的问题。
Apr, 2024
我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。
Aug, 2021
本研究旨在通过将专家网络的特征进行 “蒸馏” 以学习无监督表示，并使用这些特征检测和定位异常区域，证明了结合多个中间提示的蒸馏方法能够更好地利用专家网络的知识，并显著提高在多个数据集上进行异常检测和定位的性能。
Nov, 2020
MiPKD 是一种多粒度的先验知识蒸馏方法，通过在统一的潜在空间和随机网络块混合中实现特征混合，来促进高效的超分辨率模型，实验证明 MiPKD 方法的有效性。
Apr, 2024
利用已有的模型通过知识蒸馏来解决计算病理学中与隐私和伦理问题相关的数据质量不足的问题，从而提高目标模型的准确性和鲁棒性。
Aug, 2023
本文研究了如何通过计算机图形渲染技术生成合成数据来进行知识蒸馏和领域适应，从而提高低分辨率图像、非定位对象和线条绘图等领域的识别性能，并通过可视化方法解释该技术的工作原理及其与现有文献的关联。
Apr, 2016