CVPRApr, 2021

解耦动态滤波网络

PDF
TL;DR提出了一种 Decoupled Dynamic Filter（DDF）卷积方法，可以同时解决标准卷积的两个主要缺点：内容不适配和计算量大。DDF 将深度动态滤波器分解为空间动态滤波器和通道动态滤波器，大大减少了参数数量，并将计算成本限制在与深度卷积相同的水平上。在分类网络中，使用 DDF 替换标准卷积可以显著提高性能，同时其计算成本几乎减半。在检测和联合上采样网络上进行的实验也证明了 DDF-upsampling 变体在比标准卷积和专门的内容自适应层更优秀的性能。
发现论文，激发创造
  • DCFNet：具有分解卷积核的深度神经网络

    本文提出了基于截断展开的分解卷积滤波器（DCFNet）神经网络，使用预设基进行卷积滤波器的分解，通过扩展系数的学习来减少可以训练的参数和计算量，并通过基截断来加强滤波器的规律性。实验证明，DCFNet 可以在减少模型参数的同时，保持图像分类任务的准确性，尤其是在使用 Fourier-Bessel 基时效果显著，理论分析表明，DCFNet 对于输入的变化有较好的表示稳定性，并且经验观察与理论分析是一致的。

    Feb, 2018

  • 动态过滤网络

    介绍一种新的动态滤波网络架构，使得学习的滤波器可以根据输入动态生成，具有高度适应性，且不会过多增加模型参数。通过可视化学习到的滤波器，证明该网络可以在无标签数据上学习信息，从而可以用于各种无监督预训练任务，例如光流和深度估计。

    May, 2016

  • 网络解耦：从常规到深度可分离卷积

    该论文提出了一种称为网络解耦（ND）的训练方法，可以将已有的卷积神经网络模型转换到 MobileNet 等深度可分离卷积结构中，进而加速 CNN，减少严重的准确度下降。通过实验，作者证明了 ND 与其他训练 - free 方法正交，可以更大程度的加速 CNN。

    Aug, 2018

  • 动态卷积：卷积核的注意力机制

    提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

    Dec, 2019

  • 自适应动态滤波网络用于图像去噪

    本研究提出了一种用于改善高频和多尺度特征学习的动态卷积算法，其中采用了增强空间上下文信息的核生成模块 (SEKG) 以及动态卷积块 (DCB) 和多尺度动态卷积块 (MDCB)。此外，还提出了多维特征集成 (MFI) 机制，旨在融合多尺度特征，从而提供具有精确性和丰富上下文特征的表征。最终，使用所提出的算法构建的 ADFNet 在真实世界和合成高斯噪声数据集上取得了更好的性能，且具有较低的计算复杂度。

    Nov, 2022

  • DyNet: 动态卷积加速卷积神经网络

    本文研究了如何提高卷积神经网络的效率，提出了一种基于动态卷积方法的新型卷积操作，在多种 CNN 结构上进行了测试，并表明该方法可以在减少计算开销的同时保持性能，从而达到了更高的效率。

    Apr, 2020

  • SD-Conv： 动态卷积的参数效率

    本文提出了一种新框架 Sparse Dynamic Convolution（SD-Conv），它将动态卷积和不规则剪枝结合起来，通过使用可学习阈值导出二值化掩码以减少参数和计算成本，在 Imagenet-1K 数据集上获得更高的性能，并在多个下游任务中展示出优于基线的表现，从而成为常规动态卷积的高效替代品。

    Apr, 2022

  • 通过矩阵分解重新审视动态卷积

    文章介绍了一种基于矩阵分解的新视角来重新考虑动态卷积的局限性，提出一种动态通道融合的方法来替代对通道组进行动态关注以解决优化问题，并降低了潜在空间的维数，从而减少了参数数量并且不影响准确性。

    Mar, 2021

  • 双卷积神经网络

    本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

    Oct, 2016

  • 嵌入式推理加速器硬件架构及深度卷积和大核卷积算法分析

    该论文提出了一种硬件架构，以高灵活性处理深度卷积和常规卷积，支持不同大小的卷积核，具有比相关工作更快的速度和更少的计算和模型大小。此外，DDC 层的使用可以减少计算成本和模型大小，并提高准确性。

    Apr, 2021