Nov, 2023

使用相关距离和网络修剪强化的鲁棒性知识蒸馏

PDF
TL;DR我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。
knowledge distillationkullback-leibler divergenceconfounding samplesdata augmentationrobustness-reinforced knowledge distillation
发现论文，激发创造
  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019

  • 基于特征方差的鲁棒知识蒸馏：抵抗带后门的教师模型

    RobustKD 是基于特征差异的鲁棒知识蒸馏方法，通过压缩模型并减少学生模型和教师模型之间的特征差异，实现了学生模型的性能和后门缓解的双重目标。

    Jun, 2024

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 利用神经网络中的反向传播知识改进知识蒸馏

    该论文提出了一种新的知识蒸馏方法，通过在教师模型与学生模型差异较大的地方提取知识，在生成新的辅助样本的过程中改善学生模型的性能，从而使教师模型与学生模型更加匹配。这种方法在自然语言处理和计算机视觉等领域得到了良好的实验结果。

    Jan, 2023

  • Wasserstein 对比表示蒸馏

    本文提出了一种融合 Wasserstein 距离和对比学习的知识蒸馏方法 WCoRD，可以在压缩模型和跨模态迁移等任务上超越现有的方法。

    Dec, 2020

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 忠实知识蒸馏

    本文探讨了知识蒸馏（KD）中的师生对相对可靠性的问题，提出了一种忠实模仿框架并提供了经验和认证方法来评估学生与其老师的相对校准，同时介绍了一种忠实蒸馏方法，其在 MNIST 和 Fashion-MNIST 数据集上的实验表明了其优越性。

    Jun, 2023

  • 知识蒸馏的相关性一致性

    本文提出了一种新的基于相关性的一致性知识蒸馏框架 (CCKD)，通过引入泰勒级数展开的广义核方法捕获实例间的相关性，并在图像分类任务和度量学习任务中实现了最优结果。

    Apr, 2019

  • 通过标签修订和数据选择改进知识蒸馏

    该论文提出了一种解决知识蒸馏中错误监督的问题的方法，即通过标签修正纠正教师模型的错误预测，并引入数据选择技术以减少错误监督的影响，实验证明该方法的有效性，并表明该方法可以与其他蒸馏方法相结合，提高其性能。

    Apr, 2024

  • 数据剪枝中的知识提取

    通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。

    Mar, 2024