Sep, 2020

MEAL V2：在不使用技巧的情况下将基础 ResNet-50 提升至 80% 以上的 ImageNet Top-1 准确率

PDF
TL;DR通过采用新的基于相似性损失和鉴别器的去除硬标记的蒸馏框架，该方法可以使基本的 ResNet-50 在 ImageNet 数据集上达到 80% 以上的 Top-1 准确率，为知识蒸馏奠定了强有力的基础，也是第一篇实现在不使用已有技巧的前提下提高基本模型 ResNet-50 在 ImageNet 数据集上的 Top-1 准确率到 80% 以上的方法。
distillationresnet-50knowledgeensembleimagenet
发现论文，激发创造
  • 特征蒸馏的全面改进

    本文研究了特征蒸馏方法在网络压缩中的设计问题，并提出了一种新的特征蒸馏方法，其中蒸馏损失的设计使各个方面之间产生协同效应：老师变换，学生变换，蒸馏特征位置和距离函数。该方法在图像分类、目标检测和语义分割等多个任务中实现了显著的性能提升。

    Apr, 2019

  • ResNet 归来：一种改进的 timm 训练过程

    本文重新评估了使用新的优化和数据增强方法训练的基准 ResNet-50 模型的性能，并以此为基线，在 ImageNet 数据集上获得了 80.4％的 top-1 准确率，同时提供了预训练模型和更好的训练设置。

    Oct, 2021

  • 大型小批量 SGD 扩展：改进准确性和减少训练时间的 ImageNet-1K 上残差网络训练

    本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算下，使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5％的准确率，类似于 ResNet-152。

    Nov, 2017

  • 自我蒸馏：通过蒸馏提高卷积神经网络性能

    提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。

    May, 2019

  • 掩蔽自编码器实现高效知识蒸馏

    本文研究了从预训练模型中提取知识的潜力，提出了一种基于 Masked Autoencoders 的知识蒸馏框架，通过优化像素重构损失和最小化教师模型和学生模型中间的特征图之间的距离，从而实现计算上的高效率。实验结果表明，与直接蒸馏微调后的模型相比，蒸馏预训练模型可以显著提高下游性能，例如将 MAE 预训练的 ViT-L 蒸馏到一个 ViT-B 中，可以获得 84.0% 的 ImageNet top-1 精度，比直接蒸馏经过微调的 ViT-L 高出 1.2%。

    Aug, 2022

  • VanillaKD: 从小规模到大规模重返纯净知识蒸馏的威力

    本文发现了先前知识蒸馏方法中存在的小数据陷阱并证明了对于大规模数据集，纯粹的知识蒸馏框架可以用更强的数据增强技术和使用更大的数据集来缩小与其他知识蒸馏方法之间的差距，从而使其在大规模情况下效果惊人。

    May, 2023

  • 大数据时代的数据集精炼

    使用课程数据增强方法，在大规模的 ImageNet-1K 和 ImageNet-21K 数据集上实现了最佳准确度，并在准确度上超越了目前的最先进模型。

    Nov, 2023

  • 任务自适应正则化下的物体检测蒸馏

    该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

    Jun, 2020

  • 遮蔽图像建模的统一视角

    本文提出了一种统一的视角，针对现有方法进行了修订，并引入了一种名为 MaskDistill 的简单而有效的方法，通过对受损输入图像的屏蔽位置的主题模型重新构建归一化语义特征，以解决大规模训练视觉转换器中需要大量标记的问题，实验结果表明，MaskDistill 在图像分类和语义分割方面的表现优于现有技术。

    Oct, 2022

  • NetDistiller: 通过原地蒸馏强化微小深度学习

    通过将微小神经网络（TNNs）作为权重共享教师网络的子网络，利用梯度手术和不确定性感知蒸馏两种方法，我们提出了 NetDistiller 框架，以提高 TNNs 的可实现准确性，从而解决边缘设备的内存、计算、带宽和电源供应的限制问题。实验证实了 NetDistiller 在提升 TNNs 可实现准确性方面的有效性，胜过其他最先进的方法。

    Oct, 2023