ICMLMay, 2023

大卷积核是否比 Transformer 更适合为 ConvNets 提供指导？

PDF
TL;DR研究表明，现代大核卷积神经网络对于小核卷积神经网络的教学更加有效，从而更适合于知识蒸馏。在使用大到小核蒸馏的过程中，大卷积神经网络的良好特性，例如更大的有效接收域，可以顺利地传递到学生身上，并且在 ImageNet 上实现了 83.1% 的 top-1 准确度，超过了当前的 SOTA 方法，包括 ConvNeXt V2 和 Swin V2
convolutional neural networksknowledge distillationlarge-kernel convnetssmall-kernel convnetsimagenet
发现论文，激发创造
  • 2020 年代更多的 ConvNets：使用稀疏性将核心扩展到超过 51x51

    本论文研究了在极端卷积核上训练和验证了能够光滑扩展卷积核的方法，提出了一种基于此方法的纯卷积神经网络结构 SLaK，可以在图像分类和各种下游任务中实现与分层变压器和现代 ConvNet 结构相当甚至更好的性能表现。

    Jul, 2022

  • Shift-ConvNets：小卷积核具有大核效应

    最近的研究发现，视觉变换器（ViTs）的出色性能得益于大的接受域。因此，大型卷积核设计成为了使卷积神经网络（CNNs）再次伟大的理想解决方案。然而，典型的大卷积核证明是不符合各种硬件平台的操作符，导致不兼容。因此，简单地扩大卷积核尺寸是不明智的。本文中，我们揭示了小卷积核和卷积操作可以实现与大卷积核尺寸相近的效果。然后，我们提出了一种能够在保持硬件友好性的同时通过稀疏机制，确保 CNNs 捕捉长距离依赖关系的位移式操作符。实验结果表明，我们的位移式操作符显著提高了常规 CNN 的准确性，同时大幅降低了计算要求。在 ImageNet-1k 上，我们增强的位移式 CNN 模型胜过了最先进的模型。代码和模型详见该网址。

    Jan, 2024

  • 基于注意机制的知识蒸馏模型压缩的代表性教师关键

    本文提出了一种基于注意力机制的知识蒸馏方法，名为代表性教师关键 (point)（RTK），可以实现从大型模型中提取特征信息并训练小型模型，在保证特征相似性的同时过滤掉无用信息，在几个常用的数据集上进行实验，取得了显著的分类准确率提升。

    Jun, 2022

  • 从 CNN 提炼高效的视觉 Transformer 用于语义分割

    我们提出了一种 CNN 到 ViT 知识蒸馏框架，包括视觉语言特征蒸馏模块 (VLFD) 和像素级解耦蒸馏模块 (PDD)，实验证明我们的方法在三个语义分割基准数据集上的 mIoU 增量是最先进知识蒸馏方法的 200% 以上。

    Oct, 2023

  • UniRepLKNet：通用感知大卷积网络用于音频、视频、点云、时间序列和图像识别

    我们提出了四种用于设计大核卷积神经网络的架构指南，并发现大核对于拓展卷积神经网络在非视觉领域具有卓越表现的关键因素。我们的模型在图像识别、时间序列预测和音频识别任务中表现出卓越性能，优于其他竞争模型，并且无需对体系结构进行特定模态的定制化处理。

    Nov, 2023

  • VanillaKD: 从小规模到大规模重返纯净知识蒸馏的威力

    本文发现了先前知识蒸馏方法中存在的小数据陷阱并证明了对于大规模数据集，纯粹的知识蒸馏框架可以用更强的数据增强技术和使用更大的数据集来缩小与其他知识蒸馏方法之间的差距，从而使其在大规模情况下效果惊人。

    May, 2023

  • MTKD：图像超分辨率的多教师知识蒸馏

    我们提出了一种新颖的多教师知识蒸馏（MTKD）框架，专门用于图像超分辨率，通过结合和增强多个教师模型的输出来指导紧凑的学生网络的学习过程，并通过在空间和频率域中观察差异来优化训练过程，从而在超分辨率性能上实现了明显的改善。

    Apr, 2024

  • 高效超分辨率的部分大核心卷积神经网络

    在超分辨率领域中，本文介绍了一种新的方法，通过将 Transformers 的优势引入 CNNs，实现了既具备计算效率又具备增强性能的 Partial Large Kernel CNNs。

    Apr, 2024

  • ViT 特征知识蒸馏的实用指南

    本文研究 Vision Transformer 的特征蒸馏方法，并提出 ViTKD 可以使基于 ImageNet 数据集的学生模型的准确率分别提升 1.64％、1.4％和 1.7％。

    Sep, 2022

  • DearKD：用于 Vision Transformers 的数据高效早期知识蒸馏

    本文提出了一种早期知识蒸馏框架 (DearKD)，通过从卷积神经网络的早期中间层中提取归纳偏差然后通过无蒸馏进行训练，以提高变压器所需的数据效率。我们还针对极端的零数据情况提出了一种基于 DeepInversion 的边界保留内部分歧损失，从而进一步缩小与完整数据对照组之间的性能差距。针对 ImageNet、partial ImageNet、无数据设置和其他下游任务的大量实验证明 DearKD 优于其基准和最先进的方法。

    Apr, 2022