Jun, 2024

实例温度知识蒸馏

HTML
PDF
TL;DR知识蒸馏(KD)通过允许学生网络逐步学习从教师网络传输的知识来提高其性能。我们提出了一种基于强化学习的方法RLKD，将温度调整视为顺序决策任务，并设计了一种新颖的状态表示来使代理能够做出更明智的动作(即实例温度调整)。我们的方法解决了由于KD设置导致的延迟奖励问题，并采用了高效的探索策略。我们的框架可以轻松插入到各种KD方法中，并在图像分类和目标检测任务上验证了其有效性。
发现论文，激发创造
  • 准备教材: 利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 知识蒸馏下的CTR预测集成

    本论文提出一种基于知识蒸馏（KD）的模型训练策略，通过将教师模型学到的知识传输给学生模型，简化深度神经网络（DNN）学生模型并实现了显著的精度提高，使用多个教师模型进行训练进一步提高了学生模型的准确性。包括教师门控以及蒸馏损失提前停止等创新方法在内的多个实验表明了基于知识蒸馏的训练策略的有效性。

    Nov, 2020

  • 预训练语言模型的动态知识蒸馏

    本文研究知识蒸馏的动态方法是否能根据学生模型的能力，对三个方面进行调整，包括教师模型的采用，数据选择和蒸馏目标的调整，实验结果表明，动态知识蒸馏是有前途的，并提供了关于更有效KD方法的未来方向的讨论。

    Sep, 2021

  • 元知识蒸馏

    本文提出了一种元知识蒸馏（MKD）方法，利用可学习的元温度参数进行元学习，通过适应学习目标的梯度自适应地调整元参数以解决知识蒸馏（KD）的退化问题，从而在不同数据集规模、不同网络和不同数据扩增类型上实现了与当下最优秀方法相当的性能表现。

    Feb, 2022

  • 知识浓缩蒸馏

    本文提出基于动态学习的知识凝聚蒸馏方法(KCD)，通过期望最大化(EM)框架从教师的知识向学生转移紧凑的知识集，以有效增强学生模型的性能和蒸馏效率。

    Jul, 2022

  • 知识蒸馏的课程温度

    本文提出了一种名为CTKD的简单课程温度知识蒸馏技术，通过动态可学习的温度控制任务难度水平，实现了根据学生学习阶段逐步提高知识蒸馏难度的功能，并在CIFAR-100，ImageNet-2012和MS-COCO上进行了广泛的实验，证明了这种方法的有效性。

    Nov, 2022

  • 学生友好的知识蒸馏

    本文提出了一种基于教师模型稍加简化后的知识表示的学生友好型知识蒸馏方法（SKD），其包含软化处理和学习简化器，通过联合训练确保知识简化过程与学生模型的训练目标相关，提高了训练效率和准确性。实验结果表明，该方法在CIFAR-100和ImageNet数据集上取得了最优性能。

    May, 2023

  • 预训练模型知识蒸馏的实用洞见

    通过对知识蒸馏(KD)技术的综合比较研究，本文填补了目前研究中的空白，揭示了在协作与联邦学习框架中利用预训练模型中的知识蒸馏技术的最佳超参数设置，通过降低通信回合和加速训练过程，提高模型性能的实用框架。

    Feb, 2024

  • 动态温度知识蒸馏

    介绍了一种动态温度知识蒸馏（DTKD）方法，通过量化模型输出分布的平滑度来为教师和学生模型分别确定样本特定的温度，从而在知识传递过程中提高性能。在CIFAR-100和ImageNet-2012上的实验证明，DTKD在目标类和非目标类知识蒸馏方案中表现出较高的鲁棒性。

    Apr, 2024

  • 知识蒸馏的共享分类器的自适应教学

    通过共享分类器实现自适应教学的知识蒸馏方法（ATSC），能够在网络参数数量仅略有增加的情况下，显著提升学生网络的性能，并在单教师和多教师场景下，在CIFAR-100和ImageNet数据集上实现了最先进的结果。

    Jun, 2024