CVPRMar, 2021

深度层级动态神经网络中的嵌入式知识蒸馏

PDF
TL;DR本研究提出了一种嵌入知识蒸馏机制的深度级联动态神经网络 (DDNN)，通过 Kullback-Leibler 散度和自注意力蒸馏在在线知识蒸馏中获得多个高精度子网络，以提高子网络的泛化能力，从而在 CIFAR-10/100 和 ImageNet 数据集上实现了 better performance than individually training networks while preserving the original performance of full-nets。
neural networkdynamic networkknowledge distillationsub-netsgeneralization
发现论文，激发创造
  • 集成知识蒸馏：学习更强大和高效的网络

    本研究提出了一种集成知识蒸馏方法，可以从不同的教师网络中提取知识，并将其蒸馏成一个紧凑的学生模型，以获得更好的分类准确性和模型泛化性能。实验结果表明，这种集成方法可以显著提高模型的分类准确性和泛化性能，特别是在数据量有限的情况下。

    Sep, 2019

  • 深度集体知识蒸馏

    DCKD 是一种深度集体知识蒸馏的模型压缩方法，旨在通过丰富的信息让学生模型从老师模型和其他学生模型中获取知识，本文探讨了如何在训练过程中提高类别之间的相关性，实验结果表明该方法在 ImageNet 和 CIFAR-100 数据集上取得了最先进的性能表现。

    Apr, 2023

  • 基于响应、特征和关系的知识蒸馏分类

    这篇论文提供了一份全面的知识蒸馏调查，包括知识类别、蒸馏方案和算法，以及一些性能比较的实证研究。

    Jun, 2023

  • 通过对抗知识蒸馏压缩深度图神经网络

    本文提出了一种名为 GraphAKD 的新型对抗知识蒸馏框架，其中包括一个可训练的判别器和一个生成器，用于自适应地检测和降低深度图神经网络中的知识差异，并将其成功地应用于节点级和图级分类任务中，改善了学生 GNN 的性能。

    May, 2022

  • 基于图形的深度几何知识蒸馏

    本文探讨了相对知识蒸馏涉及到潜在空间中的几何，引入一种基于图的方案，有效地从大型神经网络导出知识并传递到小型网络中，提高了性能表现和精度。

    Nov, 2019

  • 弹性异构计算资源下的大规模知识蒸馏

    本文提出了一种基于弹性计算资源的深度学习压缩方法，即 EDL-Dist，可用于从大型深度模型创建紧凑的学生模型，支持训练和推理过程的容错性，并且其吞吐量比在线知识蒸馏基准方法提高了 3.125 倍，而精度相当或更高。

    Jul, 2022

  • 退火知识蒸馏

    本文介绍了一种名为 Annealing-KD 的改进型知识蒸馏方法，通过渐进式地提供教师模型提供的丰富信息来训练更小的学生模型，从而使得知识蒸馏方法在训练力度较大的学生模型时更有效。作者在不同的任务上进行了实验验证，包括图像分类和自然语言推理等。

    Apr, 2021

  • 知識蒸餾中的遺失

    深度神经网络通过知识蒸馏的模型压缩技术能够有效地在大型和小型模型之间实现信息转移，本研究通过实验探究了蒸馏过程对于信息损失的影响，并提出了一种优化配置方法。

    Nov, 2023

  • 自监督语音模型的集成知识蒸馏

    本文提出了一种多自监督语音模型集成的方法，通过使用层次平均聚合不同教师模型的表示，并为学生模型提出了多重预测头方法，从而大大提高了四个下游语音处理任务的性能，并在 SUPERB 基准的隐藏集轨道中取得了显著的成果。

    Feb, 2023

  • 自适应点位知识蒸馏

    本研究提出新的知识蒸馏策略 SAKD，通过自适应地确定教师网络中的蒸馏点，进一步改进现有的蒸馏方法，在 10 个最先进的蒸馏器上进行了广泛的实验来证明其有效性。

    May, 2022