CVPRMar, 2024

知识蒸馏中的 Logit 标准化

PDF
TL;DR知识蒸馏通过使用共享的基于温度的软最大函数，从教师向学生传递软标签。然而，教师和学生之间的温度共享假设意味着在 logit 的范围和方差方面需要强制精确匹配。为了解决这个问题，我们提出将温度设定为 logit 的加权标准差，并在应用 softmax 和 Kullback-Leibler 散度之前进行 Z 分数预处理标准化。我们的预处理使学生能够关注来自教师的基本 logit 关系而不需要幅值匹配，并且可以提高现有基于 logit 的蒸馏方法的性能。我们还展示了一个典型案例，即教师和学生之间传统的温度共享设置不能可靠地产生真实的蒸馏评估；尽管如此，我们的 Z 分数成功缓解了这个挑战。我们对 CIFAR-100 和 ImageNet 上的各种学生和教师模型进行了广泛评估，展示了其显著优越性。通过我们的预处理，纯知识蒸馏方法能够达到与最先进方法相当的性能，而其他蒸馏变体则可以在我们的预处理辅助下获得相当大的收益。
knowledge distillationsoft labelstemperature-based softmax functionlogit standardizationdistillation evaluation
发现论文，激发创造
  • NormKD：标准化的知识蒸馏

    本文提出了一种基于标准化的知识蒸馏方法（NormKD），通过自定义每个样本的温度来提高知识蒸馏的效果，并在图像分类的任务中表现出明显的优越性。此外，NormKD 可轻松应用于其他基于 logit 的方法，并达到接近或甚至超越基于特征的方法的性能。

    Aug, 2023

  • 基于转换的教师匹配的知识蒸馏

    温度缩放在知识蒸馏中发挥了关键作用，该论文通过对学生的温度缩放进行改进，引入了 Rényi 熵项作为正则化项，以及权重系数的自适应样本加权，实现了一种新的蒸馏方法，称为加权 TTM（WTTM），该方法通过实验证明了其有效性和在准确性方面达到了最好的表现。

    Feb, 2024

  • 预训练语言模型中的基于决策的知识蒸馏中决策和逻辑之间的桥梁

    研究新的决策 KD 技术，从决策分布中估算出 logits，同时将理论和实验方法相结合，提高了自然语言理解和机器阅读理解性能。

    Jun, 2023

  • 知识蒸馏中的 Kullback-Leibler Divergence 和 Mean Squared Error Loss 的比较

    研究知识蒸馏的目标函数 KL 散度损失在温度参数变大时侧重于 logit 匹配，而在温度参数趋近于 0 时侧重于标签匹配，提出使用均方误差作为损失函数，学生模型直接学习老师模型的 logit 向量。该方法优于 KL 散度损失，并可以改善标签噪声，通过实验证明了知识蒸馏的有效性。

    May, 2021

  • 学生友好的知识蒸馏

    本文提出了一种基于教师模型稍加简化后的知识表示的学生友好型知识蒸馏方法（SKD），其包含软化处理和学习简化器，通过联合训练确保知识简化过程与学生模型的训练目标相关，提高了训练效率和准确性。实验结果表明，该方法在 CIFAR-100 和 ImageNet 数据集上取得了最优性能。

    May, 2023

  • 尺度解耦蒸馏

    本文主要介绍了一种新的逻辑知识蒸馏方法，即基于比例分离的蒸馏方法（SDD），通过将全局逻辑输出解耦成多个局部逻辑输出，并建立相应的蒸馏管道，帮助学生模型挖掘和继承细粒度和明确的逻辑知识，从而提高其识别能力。这种方法尤其在细粒度分类任务中展现了出色的效果。

    Mar, 2024

  • 知识蒸馏作为半参数推断

    使用半参数推断方法将知识蒸馏转换为目标学生模型、未知贝叶斯类概率和教师概率的 plug-in 估计值，引入交叉适应和损失校正两种方式来改善教师过度拟合和欠拟合对学生性能的影响，为标准蒸馏的预测误差提供了新的保证，并在表格式和图像数据上进行实证验证，观察到与知识蒸馏增强相关的一致改进。

    Apr, 2021

  • 深度人脸识别的分组知识蒸馏

    本文针对面部识别中 logits 蒸馏的性能较差问题，提出分组知识蒸馏算法组（GKD），通过分割 logits 并将蒸馏分为主要知识，次要知识和二进制知识，仅保留主要知识和二进制处理，忽略次要知识，从而提高轻量级学生模型的性能

    Apr, 2023

  • 通过自适应实例标准化进行知识蒸馏

    本文提出了一种新的知识蒸馏方法，基于转移来自教师到学生的通道均值和方差等特征统计信息，以及新的适应性实例归一化损失，以提高模型压缩效果。

    Mar, 2020

  • 深入研究具有特征，逻辑和梯度的知识蒸馏

    本文提供一种新视角，通过近似经典 KL 散度标准的不同知识源激励一组知识蒸馏策略，从而使模型压缩和渐进学习在知识源方面进行系统比较。分析结果表明，logits 通常是更有效的知识来源，并建议在模型设计方面具备足够的特征维度，从而为基于知识蒸馏的转移学习提供实用指南。

    Mar, 2022