CVPRMar, 2023

泛化问题的重要性：通过参数混合实现最小化损失平稳以实现高效在线知识蒸馏

PDF
TL;DR本篇论文提出了一种在线知识蒸馏方法，采用多模型设置和参数混合的方式来提高学生的泛化性能，该方法可以达到更平坦的最小值并获得稳健的解决方案。
online knowledge distillationmulti-model settingsparameter hybridizationgeneralization performanceflatter minima
发现论文，激发创造
  • 通过随机权重平均改进预训练语言模型的泛化能力

    本文提出了一种基于 Stochastic Weight Averaging 的优化方法，用于改善预训练语言模型在 NLP 任务中的泛化能力，而无需额外计算成本，并展示了其在不同模型架构和任务中的出色表现。

    Dec, 2022

  • 在线知识蒸馏用于高效姿态估计

    本文提出了一种新型的在线知识蒸馏方法 OKDHP，通过多分支网络和特征聚合单元以及像素级 Kullback-Leibler 散度来保证人体姿态估计的效率和准确性。实验结果表明，该方法在 MPII 和 COCO 数据集上表现良好。

    Aug, 2021

  • 可切换的在线知识蒸馏

    本文提出了 Switchable Online Knowledge Distillation (SwitOKD) 模型，通过在训练阶段通过专家模式（暂停教师）和学习模式（重新启动教师）之间进行自适应切换策略以校准蒸馏差距以提高学生的性能，并且将 SwitOKD 模型扩展到多个网络。

    Sep, 2022

  • 加权平均改善领域偏移下的知识蒸馏

    知识蒸馏是一种强大的模型压缩技术，该论文通过在域偏移下对权重平均技术的应用，桥接了知识蒸馏和域泛化的研究领域，并提出了一种简化的权重平均策略，称为加权平均知识蒸馏（WAKD）方法。

    Sep, 2023

  • 高效参数和适合学生的知识蒸馏

    本文提出一种参数高效、学生友好的知识蒸馏方法 PESF-KD，通过更新相对较少的参数，实现高效、充分的知识转移，其中引入了适配器模块，将教师的输出转化为合适平滑度的软标签。实验表明，与在线蒸馏方法相比，PESF-KD 能够显著降低培训成本，同时获得有竞争力的结果。

    May, 2022

  • AdaKD：使用自适应损失加权的 ASR 模型动态知识蒸馏

    本文提出了一种自适应知识蒸馏技术，通过课程学习的启发，以实例级别自适应地加权损失，并实验证明该方法优于传统的知识蒸馏方法和现有的实例级别损失函数。

    May, 2024

  • 长尾学习中的平衡知识蒸馏

    提出了一种平衡知识蒸馏（BKD）框架，通过实例平衡分类损失和类平衡蒸馏损失的组合来训练学生模型，并成功地解决了长尾学习中模型在尾部类上的性能问题和在头部的性能问题之间的矛盾，使学生模型比教师模型有了显著的性能提升。

    Apr, 2021

  • 在线多样化同行中的知识蒸馏

    本文提出了一种双层蒸馏网络框架 OKDDip，其中包括多个辅助对等体和一个领导群体，辅助对等体通过注意力机制获取自己的预测目标，来作为组群内部的目标进行蒸馏学习，然后再将知识传递给领导群体，实现知识转移。实验结果表明，该框架在训练或推理复杂度上不会牺牲性能，相较于现有方法，可以提供更好的蒸馏效果。

    Dec, 2019

  • 通过自适应实例标准化进行知识蒸馏

    本文提出了一种新的知识蒸馏方法，基于转移来自教师到学生的通道均值和方差等特征统计信息，以及新的适应性实例归一化损失，以提高模型压缩效果。

    Mar, 2020

  • 跟随自己的道路：一种渐进式的知识蒸馏方法

    本文提出了一种名为 ProKT 的知识蒸馏方法，通过将教师模型的监督信号投影到学生参数空间中，从而在优化过程中实现了更好的局部最优解，实验结果表明，与其他现有的知识蒸馏方法相比，ProKT 在图像和文本数据集上都展现出了卓越的性能。

    Jul, 2021