May, 2019

自我蒸馏：通过蒸馏提高卷积神经网络性能

PDF
TL;DR提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。
convolutional neural networksself distillationaccuracynetwork size reductioninference flexibility
发现论文，激发创造
  • 自我知识蒸馏正则化类别预测

    通过对同标签样本之间的预测分布进行正则化，使得深度神经网络在图像分类任务中显著提高预测能力和置信度表现的一种新的正则化方法。

    Mar, 2020

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 使用无限宽的卷积神经网络进行数据集蒸馏

    采用一种新的分布式基于核的元学习框架，使用无限宽的卷积神经网络，在数据集压缩中实现前沿的结果，通过对 MNIST，Fashion-MNIST，CIFAR-10，CIFAR-100 和 SVHN 等多个数据集的数据压缩进行初步分析，为数据如何与自然发生的数据不同提供了一些启示。

    Jul, 2021

  • 从自监督学习中提取视觉先验

    本文提出一种新的两阶段流程，通过自监督学习和知识蒸馏来提高卷积神经网络模型在小数据集下的图像分类泛化能力，并使用新型边缘损失来更好地学习表示。

    Aug, 2020

  • NetDistiller: 通过原地蒸馏强化微小深度学习

    通过将微小神经网络（TNNs）作为权重共享教师网络的子网络，利用梯度手术和不确定性感知蒸馏两种方法，我们提出了 NetDistiller 框架，以提高 TNNs 的可实现准确性，从而解决边缘设备的内存、计算、带宽和电源供应的限制问题。实验证实了 NetDistiller 在提升 TNNs 可实现准确性方面的有效性，胜过其他最先进的方法。

    Oct, 2023

  • 用廉价卷积进行蒸馏

    提出了一种通过结构模型蒸馏实现神经网络内存降低的方法，使用注意力转移，并提供了残差网络的 Pareto 曲线和表格，证明这种蒸馏方法在极少损失准确率的情况下能够显著节省内存并提升学生网络性能。

    Nov, 2017

  • 自知力蒸馏在自然语言处理中

    本文提出一种基于深度学习模型自身的软目标概率的自我知识蒸馏方法，在两种基本的 NLP 任务（语言模型和神经机器翻译）上部署实验，并表明了该方法的性能提高。

    Aug, 2019

  • 通过知识蒸馏技术提高低精度网络的准确度

    本文介绍了一种组合使用低精度计算和蒸馏知识来提高深度学习网络性能的方法，该方法取得了 ImageNet 数据集上 ResNet 架构各种变体的三元精度和 4 位精度的准确率的最新成果，并提供了三种应用蒸馏知识技术到训练和部署流程中的方案。

    Nov, 2017

  • 自我知识蒸馏与渐进式目标细化

    该文介绍了一种称为渐进式自我知识蒸馏的有效规则化方法，适用于任何具有硬目标的监督学习任务，可以提高模型的泛化性能和置信度预测，并取得了优于基准的实验结果。

    Jun, 2020

  • SimReg: 回归方法作为一种简单而有效的自监督知识蒸馏工具

    通过改变神经网络体系结构，特征回归可以超越更复杂的最新方法，实现从自监督模型中提取知识的目的，并在 ImageNet 数据集上得到验证。

    Jan, 2022