AAAINov, 2022

知识蒸馏的课程温度

PDF
TL;DR本文提出了一种名为 CTKD 的简单课程温度知识蒸馏技术，通过动态可学习的温度控制任务难度水平，实现了根据学生学习阶段逐步提高知识蒸馏难度的功能，并在 CIFAR-100，ImageNet-2012 和 MS-COCO 上进行了广泛的实验，证明了这种方法的有效性。
knowledge distillationtemperaturecurriculum-basedeasy-to-hardadversarial
发现论文，激发创造
  • 动态温度知识蒸馏

    介绍了一种动态温度知识蒸馏（DTKD）方法，通过量化模型输出分布的平滑度来为教师和学生模型分别确定样本特定的温度，从而在知识传递过程中提高性能。在 CIFAR-100 和 ImageNet-2012 上的实验证明，DTKD 在目标类和非目标类知识蒸馏方案中表现出较高的鲁棒性。

    Apr, 2024

  • 实例温度知识蒸馏

    知识蒸馏 (KD) 通过允许学生网络逐步学习从教师网络传输的知识来提高其性能。我们提出了一种基于强化学习的方法 RLKD，将温度调整视为顺序决策任务，并设计了一种新颖的状态表示来使代理能够做出更明智的动作 (即实例温度调整)。我们的方法解决了由于 KD 设置导致的延迟奖励问题，并采用了高效的探索策略。我们的框架可以轻松插入到各种 KD 方法中，并在图像分类和目标检测任务上验证了其有效性。

    Jun, 2024

  • 元知识蒸馏

    本文提出了一种元知识蒸馏（MKD）方法，利用可学习的元温度参数进行元学习，通过适应学习目标的梯度自适应地调整元参数以解决知识蒸馏（KD）的退化问题，从而在不同数据集规模、不同网络和不同数据扩增类型上实现了与当下最优秀方法相当的性能表现。

    Feb, 2022

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 退火知识蒸馏

    本文介绍了一种名为 Annealing-KD 的改进型知识蒸馏方法，通过渐进式地提供教师模型提供的丰富信息来训练更小的学生模型，从而使得知识蒸馏方法在训练力度较大的学生模型时更有效。作者在不同的任务上进行了实验验证，包括图像分类和自然语言推理等。

    Apr, 2021

  • 课程数据蒸馏

    本论文提出了一个基于课程设置的数据集蒸馏框架，通过将从简单到复杂的课程进行逐步蒸馏，合理处理合成图像的生成和评估，进一步利用对抗优化改进图像的代表性，提高其在不同神经网络体系结构下的泛化能力和抗噪性，实现了大规模数据集蒸馏的新突破。

    May, 2024

  • 知识浓缩蒸馏

    本文提出基于动态学习的知识凝聚蒸馏方法 (KCD)，通过期望最大化 (EM) 框架从教师的知识向学生转移紧凑的知识集，以有效增强学生模型的性能和蒸馏效率。

    Jul, 2022

  • 学生友好的知识蒸馏

    本文提出了一种基于教师模型稍加简化后的知识表示的学生友好型知识蒸馏方法（SKD），其包含软化处理和学习简化器，通过联合训练确保知识简化过程与学生模型的训练目标相关，提高了训练效率和准确性。实验结果表明，该方法在 CIFAR-100 和 ImageNet 数据集上取得了最优性能。

    May, 2023

  • 学生大型语言模型是否能和老师一样表现出色？

    深度学习模型、知识蒸馏、软标签、温度缩放和模型性能在知识蒸馏中的关键决定因素及其潜力。

    Oct, 2023

  • DynamicKD: 基于动态熵校正的知识蒸馏实现间隙优化

    本文提出了一种基于动态熵校正的知识蒸馏算法，旨在通过调整学生网络而非教师网络来减少它们之间的性能差异。该算法在 CIFAR100 和 ImageNet 数据集上获得了令人印象深刻的结果，特别是在 teacher-resnet32x4 - student-resnet8x4 模型上，该算法在分类准确率上超过了传统算法和当前业内领先的算法 CRD。

    May, 2023