Jan, 2023

授课老师在蒸馏中的偏差：违抗是否值得？

HTML
PDF
TL;DR通过一系列的实验，我们发现知识蒸馏(distillation)在教师网络存在低置信度的点的时候，会使得学生网络的置信度更低，而之后引入知识蒸馏(loss)会恢复部分性能，同时我们提供了两种理论视角来理解这种现象，作为特征空间的正则化项和梯度去噪器。
发现论文，激发创造
  • 代际知识蒸馏：更具宽容性的教师教育更好的学生

    本文从严格性控制角度研究了深度神经网络的教师网络和学生网络的优化问题。通过针对教师网络训练中的宽松性进行优化，使得学生网络在学习过程中更容易获得跨类别相似性信息，从而在CIFAR100和ILSVRC2012等数据集的图像分类任务中取得更高的分类准确率。

    May, 2018

  • 有阅读素养的学生学习更好：关于预训练紧凑模型的重要性

    本文研究自然语言表示、模型压缩技术、预训练、微调和知识蒸馏等方面的互动关系，提出了一种简单而有效的预训练蒸馏算法，分析了模型大小和无标记任务数据属性对其的影响。

    Aug, 2019

  • 通过标签平滑正则化重新审视知识蒸馏

    本文挑战了使用强大的teacher model教授弱student model的共识，详细阐述了KD和label smoothing regularization之间的关系，提出了Teacher-free Knowledge Distillation（Tf-KD）框架，通过自学和手动设计正则化分布，实现了与正常KD相媲美的性能。

    Sep, 2019

  • 知识蒸馏真的有效么？

    研究表明，尽管知识蒸馏有助于学生网络提高推理能力，但通常情况下并不能完全符合教师模型的预测分布，而这往往是由于优化困难所导致的。此外，数据集的细节也影响着知识蒸馏的效果，更符合教师的结果不一定会带来更好的推理能力。

    Jun, 2021

  • 响应性网络压缩中蒸馏质量的控制

    本文探讨了如何提高知识压缩的效果，发现教师神经网络的反应质量和相似性信息密切相关，而采用适当的批量和历元数训练教师可以提高知识压缩的效果。

    Dec, 2021

  • 来自更强大教师的知识蒸馏

    本文介绍了一种名为 DIST 的方法，它可以更好地从一个更强的教师模型中进行知识蒸馏，通过保留教师和学生之间的预测关系，提出了基于相关损失的方法，从而实现了最先进的性能。

    May, 2022

  • SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

    提出一种基于学生的教师网络训练框架SoTeacher，通过引入Lipschitz正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师-学生架构对，并且可以显著、一致地提高学生的性能。

    Jun, 2022

  • 监督复杂度及其在知识蒸馏中的作用

    本文提出了一个新的理论框架，探究了知识蒸馏的学生的普适性行为，并评估了在线蒸馏的效力。该框架突出了教师提供监督和学生的神经切线核之间的对齐度的复杂性之间微妙的相互作用，为蒸馏中流行的各种技术的效用提供了严密的理论基础。

    Jan, 2023

  • 不要盲目模仿老师：使用扰动损失进行知识蒸馏

    本文提出了一种新的知识蒸馏方法 PTLoss，通过扰动 KL-based distillation loss function，将原始 teacher 转换为更接近 ground truth 的 proxy teacher，从而显著提高了知识蒸馏的效果。

    May, 2023

  • 忠实知识蒸馏

    本文探讨了知识蒸馏（KD）中的师生对相对可靠性的问题，提出了一种忠实模仿框架并提供了经验和认证方法来评估学生与其老师的相对校准，同时介绍了一种忠实蒸馏方法，其在MNIST和Fashion-MNIST数据集上的实验表明了其优越性。

    Jun, 2023