Feb, 2020

知识蒸馏在小模型回归问题训练中的高效方法

PDF
TL;DR本文提出了一种用于回归问题的新的知识蒸馏形式，其中包括教师异常值拒绝损失函数和多任务网络等内容，并通过对多个数据集的评估表明，该方法可以提高准确性。
deep neural networkknowledge distillationregression problemsteacher outlier rejection lossmulti-task network
发现论文，激发创造
  • 知識蒸餾中的遺失

    深度神经网络通过知识蒸馏的模型压缩技术能够有效地在大型和小型模型之间实现信息转移，本研究通过实验探究了蒸馏过程对于信息损失的影响，并提出了一种优化配置方法。

    Nov, 2023

  • 强化多教师选择的知识蒸馏

    本文研究了一种改进模型压缩方法，通过强化学习动态调整知识蒸馏中教师模型的权重，从而提高了学生模型性能，适用于自然语言处理任务。

    Dec, 2020

  • SimReg: 回归方法作为一种简单而有效的自监督知识蒸馏工具

    通过改变神经网络体系结构，特征回归可以超越更复杂的最新方法，实现从自监督模型中提取知识的目的，并在 ImageNet 数据集上得到验证。

    Jan, 2022

  • 理想共同分类器假设下的知识蒸馏

    IJCKD 提供了一个理论框架，通过一个基于领域自适应理论的数学分析来更好地理解现有的知识蒸馏方法，明确了教师网络与学生网络之间的知识转移机制，并且可以有效地将知识传递给各种应用领域。

    Apr, 2023

  • 知识蒸馏提高深度神经网络的可解释性

    使用知识蒸馏技术将深度神经网络转换成决策树，以同时实现较好的性能和可解释性，并比基准决策树模型获得显著更高的精度，在 TensorFlow 平台上实现对大数据集的可扩展性。

    Dec, 2018

  • 基于特征方差的鲁棒知识蒸馏：抵抗带后门的教师模型

    RobustKD 是基于特征差异的鲁棒知识蒸馏方法，通过压缩模型并减少学生模型和教师模型之间的特征差异，实现了学生模型的性能和后门缓解的双重目标。

    Jun, 2024

  • 少样本知识蒸馏用于高效网络压缩

    本论文中，我们提出了一种新的知识蒸馏方案，通过从无标签的少样本数据中提取知识，以实现数据效率和训练 / 处理效率。这种方法可以在不到几分钟的时间内，恢复学生网络的准确性，使用仅全量数据的 1％而不需要传统的微调方法。

    Dec, 2018

  • 在线集成模型压缩技术 —— 基于知识蒸馏

    本文提出了一种新颖的基于知识蒸馏的模型压缩框架，在学生集成中启用了同时学习的知识蒸馏，并在压缩的学生模型上蒸馏同时学到的集成知识，该方法在不需要预训练权重的情况下同时训练了压缩学生和集成教师。该方法可以交付多个压缩的学生，并且使用我们的框架，可以以高效和灵活的方式适应不同场景。实验结果表明，使用我们的框架，一个压缩率达 97% 的 ResNet110 学生模型在 CIFAR100 数据集上相对精度提高了 10.64％，类似地，一个压缩率达 95％的 DenseNet-BC （k = 12）模型相对精度提高了 8.17％。

    Nov, 2020

  • 知识蒸馏：综述

    该论文从知识分类、训练方案、教师 - 学生架构、蒸馏算法、性能比较和应用等方面全面调查了知识蒸馏。并简要回顾了知识蒸馏中的挑战，并探讨了未来的研究方向。

    Jun, 2020

  • 利用神经网络中的反向传播知识改进知识蒸馏

    该论文提出了一种新的知识蒸馏方法，通过在教师模型与学生模型差异较大的地方提取知识，在生成新的辅助样本的过程中改善学生模型的性能，从而使教师模型与学生模型更加匹配。这种方法在自然语言处理和计算机视觉等领域得到了良好的实验结果。

    Jan, 2023