May, 2023

不要盲目模仿老师：使用扰动损失进行知识蒸馏

PDF
TL;DR本文提出了一种新的知识蒸馏方法 PTLoss，通过扰动 KL-based distillation loss function，将原始 teacher 转换为更接近 ground truth 的 proxy teacher，从而显著提高了知识蒸馏的效果。
knowledge distillationstudent modelteacher modelptlossgeneralizability
发现论文，激发创造
  • 相似性保持知识蒸馏

    本文提出了新型的知识蒸馏损失函数，其通过保留教师神经网络中相似输入的激活模式特征，指导学生神经网络的训练，使其在保留各自的表征空间中，能够准确地保持输入的相似度。实验结果表明了该方法的潜力。

    Jul, 2019

  • 知识蒸馏作为半参数推断

    使用半参数推断方法将知识蒸馏转换为目标学生模型、未知贝叶斯类概率和教师概率的 plug-in 估计值，引入交叉适应和损失校正两种方式来改善教师过度拟合和欠拟合对学生性能的影响，为标准蒸馏的预测误差提供了新的保证，并在表格式和图像数据上进行实证验证，观察到与知识蒸馏增强相关的一致改进。

    Apr, 2021

  • 授课老师在蒸馏中的偏差：违抗是否值得？

    通过一系列的实验，我们发现知识蒸馏 (distillation) 在教师网络存在低置信度的点的时候，会使得学生网络的置信度更低，而之后引入知识蒸馏 (loss) 会恢复部分性能，同时我们提供了两种理论视角来理解这种现象，作为特征空间的正则化项和梯度去噪器。

    Jan, 2023

  • SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

    提出一种基于学生的教师网络训练框架 SoTeacher，通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师 - 学生架构对，并且可以显著、一致地提高学生的性能。

    Jun, 2022

  • 知识蒸馏对迁移学习的影响

    在本研究中，我们提出了一种将知识蒸馏应用于迁移学习的机器学习架构，称为 TL + KD，并对它与传统 TL 的图像分类效果进行了量化和定性比较。结果表明，在微调过程中，使用较大的教师网络提供指导和知识可以改善学生网络以实现更好的验证性能，同时研究了不同场景下的性能表现。

    Oct, 2022

  • 忠实知识蒸馏

    本文探讨了知识蒸馏（KD）中的师生对相对可靠性的问题，提出了一种忠实模仿框架并提供了经验和认证方法来评估学生与其老师的相对校准，同时介绍了一种忠实蒸馏方法，其在 MNIST 和 Fashion-MNIST 数据集上的实验表明了其优越性。

    Jun, 2023

  • 对比表示蒸馏

    通过对比学习的方式训练学生网络来实现更好的知识迁移，相比知识蒸馏等传统方法在单模型压缩、集成蒸馏和跨模态迁移等多种任务中表现更优，甚至在与知识蒸馏相结合时可以超越教师网络，这一方法在许多知识迁移任务中达到了最新的最佳表现。

    Oct, 2019

  • 盲目知识蒸馏用于鲁棒图像分类

    该论文提出了一种新的 Teacher-Student 知识蒸馏方法，通过遮盖有关 Teacher 输出中的真实标签以过滤可能损坏的知识来学习具有噪声标签的神经网络。论文中的实验表明，这种方法可以有效地检测训练过程中的过拟合，并改善对 CIFAR-N 数据集中干净和噪声标签的检测。

    Nov, 2022

  • 长尾学习中的平衡知识蒸馏

    提出了一种平衡知识蒸馏（BKD）框架，通过实例平衡分类损失和类平衡蒸馏损失的组合来训练学生模型，并成功地解决了长尾学习中模型在尾部类上的性能问题和在头部的性能问题之间的矛盾，使学生模型比教师模型有了显著的性能提升。

    Apr, 2021

  • 跟随自己的道路：一种渐进式的知识蒸馏方法

    本文提出了一种名为 ProKT 的知识蒸馏方法，通过将教师模型的监督信号投影到学生参数空间中，从而在优化过程中实现了更好的局部最优解，实验结果表明，与其他现有的知识蒸馏方法相比，ProKT 在图像和文本数据集上都展现出了卓越的性能。

    Jul, 2021