本文研究卷积神经网络中大核设计在现代网络中的应用，提出了五个指南以设计高效的，基于大卷积核的 CNN，并使用 RepLKNet 网络来实现可以与 ViTs 相媲美的结果，具有很好的方法可扩展性和性能表现优势。

Mar, 2022

本论文研究了在极端卷积核上训练和验证了能够光滑扩展卷积核的方法，提出了一种基于此方法的纯卷积神经网络结构 SLaK，可以在图像分类和各种下游任务中实现与分层变压器和现代 ConvNet 结构相当甚至更好的性能表现。

Jul, 2022

研究表明，现代大核卷积神经网络对于小核卷积神经网络的教学更加有效，从而更适合于知识蒸馏。在使用大到小核蒸馏的过程中，大卷积神经网络的良好特性，例如更大的有效接收域，可以顺利地传递到学生身上，并且在 ImageNet 上实现了 83.1% 的 top-1 准确度，超过了当前的 SOTA 方法，包括 ConvNeXt V2 和 Swin V2

May, 2023

论文提出了一种全局卷积网络，用于解决语义分割中分类和定位问题，并且在两个公共基准数据集上实现了最新的性能。

Mar, 2017

通过用一种新型卷积神经网络（CNN）来编码不变性的再生核，本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题， 其中与传统方法不同的是，我们的网络学习在训练数据上逼近核特征映射，从而带来了多个优势，包括获得具有不变性的简单神经网络体系结构，实现与更复杂 CNNs 相似的准确度，以及抵抗过拟合等。

Jun, 2014

本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

Feb, 2021

本文介绍了一种卷积神经网络，在统一体系结构中同时处理低阶，中阶和高阶视觉任务，其通过端到端训练，为视觉任务提供了通用解决方案，同时解决了训练深度架构时依赖不同训练集和训练多个任务时内存有限的问题，通过这些方法在单个 GPU 上每帧 0.7 秒地同时处理多项任务，其中包括边界检测，正常估计，显著性预测，语义分割，人体部分分割，语义边界检测，区域建议生成和物体检测等，同时保证了高准确率。

Sep, 2016

本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。

May, 2016

本文介绍了一种多层图形核的家族，并建立了图卷积神经网络与核方法之间的新联系。利用核特征图形的序列表示图形数据，从而将卷积核网络推广到了图形结构数据，实现了高效的数据表示和训练。在多个图形分类基准测试中，该方法实现了竞争性的性能，同时提供了简单的模型解释。

Mar, 2020

最近的研究发现，视觉变换器（ViTs）的出色性能得益于大的接受域。因此，大型卷积核设计成为了使卷积神经网络（CNNs）再次伟大的理想解决方案。然而，典型的大卷积核证明是不符合各种硬件平台的操作符，导致不兼容。因此，简单地扩大卷积核尺寸是不明智的。本文中，我们揭示了小卷积核和卷积操作可以实现与大卷积核尺寸相近的效果。然后，我们提出了一种能够在保持硬件友好性的同时通过稀疏机制，确保 CNNs 捕捉长距离依赖关系的位移式操作符。实验结果表明，我们的位移式操作符显著提高了常规 CNN 的准确性，同时大幅降低了计算要求。在 ImageNet-1k 上，我们增强的位移式 CNN 模型胜过了最先进的模型。代码和模型详见该网址。

Jan, 2024