本文研究卷积神经网络中大核设计在现代网络中的应用，提出了五个指南以设计高效的，基于大卷积核的 CNN，并使用 RepLKNet 网络来实现可以与 ViTs 相媲美的结果，具有很好的方法可扩展性和性能表现优势。

Mar, 2022

最近的研究发现，视觉变换器（ViTs）的出色性能得益于大的接受域。因此，大型卷积核设计成为了使卷积神经网络（CNNs）再次伟大的理想解决方案。然而，典型的大卷积核证明是不符合各种硬件平台的操作符，导致不兼容。因此，简单地扩大卷积核尺寸是不明智的。本文中，我们揭示了小卷积核和卷积操作可以实现与大卷积核尺寸相近的效果。然后，我们提出了一种能够在保持硬件友好性的同时通过稀疏机制，确保 CNNs 捕捉长距离依赖关系的位移式操作符。实验结果表明，我们的位移式操作符显著提高了常规 CNN 的准确性，同时大幅降低了计算要求。在 ImageNet-1k 上，我们增强的位移式 CNN 模型胜过了最先进的模型。代码和模型详见该网址。

Jan, 2024

在超分辨率领域中，本文介绍了一种新的方法，通过将 Transformers 的优势引入 CNNs，实现了既具备计算效率又具备增强性能的 Partial Large Kernel CNNs。

Apr, 2024

我们提出了一种人类视觉启发的周边卷积方法，通过参数共享高效地减少了密集网格卷积的参数数量超过 90%，并且成功实现了卷积核大小的可扩展性。基于这种方法，我们提出了一种参数高效的大核心网络（PeLK），在各种视觉任务中，包括 ImageNet 分类、ADE20K 的语义分割和 MS COCO 的目标检测，PeLK 都优于现代视觉 Transformer 和 ConvNet 架构。我们首次将 CNN 的卷积核大小扩展到了 101x101，并展示了持续的改进效果。

Mar, 2024

研究表明，现代大核卷积神经网络对于小核卷积神经网络的教学更加有效，从而更适合于知识蒸馏。在使用大到小核蒸馏的过程中，大卷积神经网络的良好特性，例如更大的有效接收域，可以顺利地传递到学生身上，并且在 ImageNet 上实现了 83.1% 的 top-1 准确度，超过了当前的 SOTA 方法，包括 ConvNeXt V2 和 Swin V2

May, 2023

我们提出了四种用于设计大核卷积神经网络的架构指南，并发现大核对于拓展卷积神经网络在非视觉领域具有卓越表现的关键因素。我们的模型在图像识别、时间序列预测和音频识别任务中表现出卓越性能，优于其他竞争模型，并且无需对体系结构进行特定模态的定制化处理。

Nov, 2023

本文提出空间分割卷积及其大卷积核模块来解决直接应用大卷积核在 3D CNNs 中遇到的困难，大卷积核 3D CNN 网络可以用于语义分割和物体检测，取得了较高的性能，说明大卷积核在 3D 视觉任务中是可行并且必不可少的。

Jun, 2022

卷积神经网络与视觉 Transformer 在自我监督学习任务中表现相近，通过增加卷积核大小和其他小调整即可达到与 Transformer 相同的性能水平。

Dec, 2023

论文提出了一种全局卷积网络，用于解决语义分割中分类和定位问题，并且在两个公共基准数据集上实现了最新的性能。

Mar, 2017

提出了一种类似于 Inception 的新型卷积操作 Inception depthwise convolution，将大核卷积分解为四个通道维度上的平方小核、两个正交带状核和一个恒等映射，用于构建高吞吐量且性能表现强劲的网络 InceptionNeXt，取得了与性能相当的同时大幅提升训练效率，并可作为减少碳足迹的未来架构设计基线。

Mar, 2023