Apr, 2024

MTKD：图像超分辨率的多教师知识蒸馏

PDF
TL;DR我们提出了一种新颖的多教师知识蒸馏（MTKD）框架，专门用于图像超分辨率，通过结合和增强多个教师模型的输出来指导紧凑的学生网络的学习过程，并通过在空间和频率域中观察差异来优化训练过程，从而在超分辨率性能上实现了明显的改善。
发现论文，激发创造
  • 多尺度先验混合的图像超分辨率知识蒸馏

    MiPKD 是一种多粒度的先验知识蒸馏方法，通过在统一的潜在空间和随机网络块混合中实现特征混合，来促进高效的超分辨率模型，实验证明 MiPKD 方法的有效性。

    Apr, 2024

  • 自适应多教师多层级知识蒸馏

    我们提出了基于多教师多层知识蒸馏学习框架的自适应学习方法，该方法通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了更好的性能。

    Mar, 2021

  • SFT-KD-Recon：磁共振图像重建中以学生为导向的知识蒸馏教师的学习

    深度级联体系结构、知识蒸馏、MRI 加速、SFT-KD-Recon 和重建性能。

    Apr, 2023

  • 数据循环利用知识蒸馏用于图像超分辨率

    通过数据再利用的知识蒸馏技术（DUKD）实现对单幅图像超分辨率的模型压缩，通过引入标签一致性规范化，大幅提升学生模型的泛化性能，相比基线方法在 PSNR 上提升了 0.5dB，并且在参数减少 67% 的 RCAN 模型中保持与 RCAN 教师模型相当的性能。

    Sep, 2023

  • 文本图像机器翻译的多教师知识蒸馏

    本文提出一种基于多教师知识蒸馏 (MTKD) 的文本图像机器翻译 (TIMT) 方法，将管道模型的知识有效地转移至端到端 TIMT 模型中，包括图像编码器、序列编码器和解码器的知识引导优化，并采用令牌和句子级别知识蒸馏相结合来提高翻译性能。实验结果表明，相比于现有的管道和端到端模型，MTKD 可以更有效地改进文本图像翻译性能，具有更少的参数和更少的解码时间。

    May, 2023

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 元学习的自适应多教师知识蒸馏

    本文提出了自适应多教师知识蒸馏与元学习，以指导学生从量身定制的集成教师中获得适当的知识。通过元权重网络的辅助，将输出层和中间层中多样但兼容的教师知识联合利用，以增强学生的表现。在多个基准数据集上进行的广泛实验验证了本方法的有效性和灵活性。

    Jun, 2023

  • 知识蒸馏和师生学习在视觉智能中的应用：评述与新观点

    本文讨论了知识蒸馏和 S-T 学习，提供了对知识蒸馏的解释以及该方法的最新进展、技术细节和视觉应用状况的全面调查，并分析了现有方法的潜力和挑战，展望了知识蒸馏和 S-T 学习的未来方向。

    Apr, 2020

  • 置信度感知的多教师知识蒸馏

    该研究提出了一种自适应分配逐样本可靠度的方法，以每个教师的预测可信度来稳定知识转移过程，并结合中间层来提高学生成绩，在不同的教师 - 学生架构下，优于所有其他现有方法。

    Dec, 2021

  • QKD：量化知识蒸馏

    本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

    Nov, 2019