Nov, 2019

知识表示：用于知识蒸馏的高效、稀疏的先验知识表示

PDF
TL;DR本文提出了一种以先验知识为主要建模对象的知识表示框架，并设计了一种稀疏重编码惩罚，以约束学生网络的学习，从而在知识蒸馏过程中避免过度正则化和更快地收敛。实验表明，该框架即使目标网络的表示能力不如期望，仍然实现了最先进的性能表现，并且灵活易于与基于后验知识的其他知识蒸馏方法结合使用。
knowledge distillationprior knowledgesparse recoding penaltyteacher networkstudent network
发现论文，激发创造
  • 优秀教师，优秀学生：基于动态先验知识的知识蒸馏

    研究表明，利用动态先验知识的知识蒸馏方法可以更好地从大型模型向小型模型传递知识表示，提高学生模型的性能，在图像分类和目标检测等领域表现卓越。

    Jun, 2022

  • 多尺度先验混合的图像超分辨率知识蒸馏

    MiPKD 是一种多粒度的先验知识蒸馏方法，通过在统一的潜在空间和随机网络块混合中实现特征混合，来促进高效的超分辨率模型，实验证明 MiPKD 方法的有效性。

    Apr, 2024

  • 理想共同分类器假设下的知识蒸馏

    IJCKD 提供了一个理论框架，通过一个基于领域自适应理论的数学分析来更好地理解现有的知识蒸馏方法，明确了教师网络与学生网络之间的知识转移机制，并且可以有效地将知识传递给各种应用领域。

    Apr, 2023

  • 对比表示蒸馏

    通过对比学习的方式训练学生网络来实现更好的知识迁移，相比知识蒸馏等传统方法在单模型压缩、集成蒸馏和跨模态迁移等多种任务中表现更优，甚至在与知识蒸馏相结合时可以超越教师网络，这一方法在许多知识迁移任务中达到了最新的最佳表现。

    Oct, 2019

  • 让学生决策的知识蒸馏层

    通过引入可学习的 KD 层和模板学习方法，我们提出一种新的知识蒸馏技术，实现了对学生模型在中间层中进行特征变换的显式控制，并在多个分类基准测试中验证了其有效性。

    Sep, 2023

  • 基于注意机制的知识蒸馏模型压缩的代表性教师关键

    本文提出了一种基于注意力机制的知识蒸馏方法，名为代表性教师关键 (point)（RTK），可以实现从大型模型中提取特征信息并训练小型模型，在保证特征相似性的同时过滤掉无用信息，在几个常用的数据集上进行实验，取得了显著的分类准确率提升。

    Jun, 2022

  • Wasserstein 对比表示蒸馏

    本文提出了一种融合 Wasserstein 距离和对比学习的知识蒸馏方法 WCoRD，可以在压缩模型和跨模态迁移等任务上超越现有的方法。

    Dec, 2020

  • 利用神经网络中的反向传播知识改进知识蒸馏

    该论文提出了一种新的知识蒸馏方法，通过在教师模型与学生模型差异较大的地方提取知识，在生成新的辅助样本的过程中改善学生模型的性能，从而使教师模型与学生模型更加匹配。这种方法在自然语言处理和计算机视觉等领域得到了良好的实验结果。

    Jan, 2023

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020