本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

Oct, 2016

该论文提出一种更加通用而优雅的动态卷积设计，Omni-dimensional Dynamic Convolution (ODConv)，通过多维度的注意力机制与并行策略学习卷积核在四个维度上的补充注意力，以提高各种流行的 CNN 主干网络的准确性，且可通过将其插入到现有 CNN 架构中来使用，实验证明与多个动态卷积方法相比，ODConv 甚至只需一组卷积核就能显著提高准确率。

Sep, 2022

该论文提出了一种硬件架构，以高灵活性处理深度卷积和常规卷积，支持不同大小的卷积核，具有比相关工作更快的速度和更少的计算和模型大小。此外，DDC 层的使用可以减少计算成本和模型大小，并提高准确性。

Apr, 2021

提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

Dec, 2019

提出了一种名为 DRConv 的动态区域感知卷积，它可以自动将多个过滤器分配给具有相似表示的相应空间区域，以更有效处理复杂和不同的空间信息分布，从而代替任何现有网络中的标准卷积，尤其适用于高效网络中的动力卷积层。在 ImageNet 分类中，DRConv-based ShuffleNetV2-0.5x 在 46M 乘积添加水平下实现了 67.1% 的最新性能，相对改进了 6.3%。

Mar, 2020

本文系统地研究了不同核大小的影响，提出了一种新的混合深度卷积（MixConv），将多个核大小自然混合在单个卷积中，为现有的 MobileNets 在 ImageNet 分类和 COCO 目标检测中提高了准确性和效率。

Jul, 2019

通过提出一种新的方法来实现低内存和计算成本的高阶 Volterra 滤波，在 DCNN 训练的前向和反向传播过程中具有计算优势，并基于该方法提出了一种名为 Higher-order Local Attention Block（HLA）的新型注意力模块，并在 CIFAR-100 数据集上进行了测试，显示了在分类任务中的有竞争力的改进。

Apr, 2024

最近在深度可分离卷积神经网络（DS-CNNs）方面的进展已经引发了新的架构，通过相当大的可扩展性和准确性优势，超越了经典 CNNs 的性能。本文揭示了 DS-CNN 架构的另一个引人注目的特性：它们训练后的深度卷积核在所有层中出现了明显可辨和可解释的模式。通过对数百万个训练滤波器的广泛分析，我们使用自编码器进行无监督聚类，对这些滤波器进行了分类。令人惊讶的是，这些模式汇聚成了几个主要簇，每个簇都类似于高斯差分函数（DoG）及其一阶和二阶导数。值得注意的是，我们能够将来自最先进的 ConvNextV2 和 ConvNeXt 模型的滤波器分别分类为 95％和 90％以上。这一发现不仅仅是技术上的奇特之处；它回应了神经科学家长期以来对哺乳动物视觉系统的基础模型的提议。因此，我们的结果加深了对训练后 DS-CNN 的出现属性的理解，并在人工和生物视觉处理系统之间提供了一个桥梁。更广泛地说，它们为未来更具可解释性和生物灵感的神经网络设计铺平了道路。

Jan, 2024

本文介绍了一种利用过参数化的方法来训练紧凑型神经网络的方法，通过将紧凑型神经网络的线性层扩展成多个连续的线性层，而不添加非线性化，形成扩展网络 ExpandNet，可在推理时代数地缩小回紧凑型神经网络。我们提出了两种卷积扩展策略，并在图像分类、目标检测和语义分割等任务上展示了他们的优势，证明了我们的方法优于从头开始训练紧凑型网络和从教师进行知识蒸馏。此外，我们通过实验证明了过参数化可减少训练时的梯度混淆，提高网络的泛化能力。

Nov, 2018

本研究介绍了有条件参数卷积（CondConv）的概念，通过为每个示例学习专用的卷积核，增加了神经网络的规模和容量，同时保持了有效推理，并在图像分类任务上展示了其在现有基于卷积神经网络的体系结构上的性能和推理成本的平衡。

Apr, 2019