ICCVApr, 2019

特征蒸馏的全面改进

PDF
TL;DR本文研究了特征蒸馏方法在网络压缩中的设计问题，并提出了一种新的特征蒸馏方法，其中蒸馏损失的设计使各个方面之间产生协同效应：老师变换，学生变换，蒸馏特征位置和距离函数。该方法在图像分类、目标检测和语义分割等多个任务中实现了显著的性能提升。
feature distillationnetwork compressiontransformdistance functionperformance improvement
发现论文，激发创造
  • 功能一致性特征蒸馏

    这篇论文提出了一种名为 FCFD 的新的特征蒸馏方法，通过优化教师和学生的功能相似性，使得学生更好地模仿教师的中间特征，以达到更准确的图像分类和物体检测。

    Apr, 2023

  • 目标感知 Transformer 的知识蒸馏

    本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

    May, 2022

  • 通过解耦特征压缩目标检测器

    本研究提出了一种名为 DeFeat 的新型知识蒸馏算法，通过解耦区域特征和分类头提议来提高学生检测器的性能，以实现从复杂教师网络到紧凑学生网络的信息遗传。实验结果表明，DeFeat 相较于先前的知识蒸馏方法可以取得更好的物体检测成果。

    Mar, 2021

  • 通过投影仪集合提高特征蒸馏效果

    本研究提出了一种新的特征蒸馏方法，其中使用投影仪去除了分类和蒸馏两个不同的任务，从而进一步提高了学生特征的质量和性能，实验证明该方法在不同数据集和师生对中均取得了显著的效果提升。

    Oct, 2022

  • MEAL V2：在不使用技巧的情况下将基础 ResNet-50 提升至 80% 以上的 ImageNet Top-1 准确率

    通过采用新的基于相似性损失和鉴别器的去除硬标记的蒸馏框架，该方法可以使基本的 ResNet-50 在 ImageNet 数据集上达到 80% 以上的 Top-1 准确率，为知识蒸馏奠定了强有力的基础，也是第一篇实现在不使用已有技巧的前提下提高基本模型 ResNet-50 在 ImageNet 数据集上的 Top-1 准确率到 80% 以上的方法。

    Sep, 2020

  • NetDistiller: 通过原地蒸馏强化微小深度学习

    通过将微小神经网络（TNNs）作为权重共享教师网络的子网络，利用梯度手术和不确定性感知蒸馏两种方法，我们提出了 NetDistiller 框架，以提高 TNNs 的可实现准确性，从而解决边缘设备的内存、计算、带宽和电源供应的限制问题。实验证实了 NetDistiller 在提升 TNNs 可实现准确性方面的有效性，胜过其他最先进的方法。

    Oct, 2023

  • 特征丰富的物体检测器蒸馏

    提出了一种基于要素丰富度得分方法的知识蒸馏算法，支持目标检测任务，并可显著提高检测性能，尤其在资源有限的设备上表现优异。

    Nov, 2021

  • 自我蒸馏：通过蒸馏提高卷积神经网络性能

    提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。

    May, 2019

  • 从教师那里学习度量：用于图像嵌入的紧凑网络

    本文提出使用网络蒸馏来高效计算小型网络产生的图像嵌入，通过构建两个新的损失函数模拟深度教师网络向小型学生网络通信的机制，在多个数据集上验证我们的方法，得出小型学生网络计算的嵌入明显优于使用相似大小的标准网络计算的结果。其中在可移动设备上使用的 MobileNet-0.25 产生了 44.6% 的 Recall@1 结果。同时，研究了蒸馏嵌入的各种方面，包括提示和注意力层，半监督学习以及不同质量的蒸馏。

    Apr, 2019

  • 神经特征回归的数据集蒸馏

    本文实现了一种基于神经 Feature Regression with Pooling (FRePo) 的 dataset distillation 方法，其在 CIFAR100、Tiny ImageNet 和 ImageNet-1K 上实现了 state-of-the-art 性能，且所需内存和训练时间都比以前的方法快；使用高质量的 distilled data 可大大提高各个 downstream 应用程序的性能，例如 continual learning 和 membership inference defense。

    Jun, 2022