Apr, 2022

SD-Conv： 动态卷积的参数效率

PDF
TL;DR本文提出了一种新框架 Sparse Dynamic Convolution（SD-Conv），它将动态卷积和不规则剪枝结合起来，通过使用可学习阈值导出二值化掩码以减少参数和计算成本，在 Imagenet-1K 数据集上获得更高的性能，并在多个下游任务中展示出优于基线的表现，从而成为常规动态卷积的高效替代品。
dynamic convolutionsparse dynamic convolutionunstructured pruningbinary maskpretrained models
发现论文，激发创造
  • 动态卷积：卷积核的注意力机制

    提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

    Dec, 2019

  • 动态卷积：利用空间稀疏性加速推理

    本文提出了一种基于条件输入图像的动态卷积方法，其中通过引入一个小型门控分支来学习空间位置，以决定应该对哪些区域进行评估，通过在 CIFAR、ImageNet 和 MPII 数据集上的实验证明该方法在处理人体姿态估计等空间稀疏任务方面，相对已有方法具有更好的准确性和处理效率。

    Dec, 2019

  • 动态稀疏重参数化实现深度卷积神经网络的参数高效训练

    介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

    Feb, 2019

  • PCONV：DNN 权重剪枝中缺失但令人向往的稀疏性，用于移动设备上的实时执行

    介绍了新的稀疏度维度 - 粗粒度结构内的细粒度剪枝模式 (PCONV) 方法，通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率，在实时推理中取得了显著的速度提升，没有准确性损失。

    Sep, 2019

  • DyNet: 动态卷积加速卷积神经网络

    本文研究了如何提高卷积神经网络的效率，提出了一种基于动态卷积方法的新型卷积操作，在多种 CNN 结构上进行了测试，并表明该方法可以在减少计算开销的同时保持性能，从而达到了更高的效率。

    Apr, 2020

  • 使用稀疏卷积和指导剪枝加速 CNN

    本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。

    Aug, 2016

  • 动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络

    本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他稀疏训练算法相比，Dynamic Sparse Training 在多个网络架构上取得了业界领先水平。此外，我们还发现了传统三阶段剪枝算法的潜在问题，为更紧凑的神经网络架构设计提供了理论指导。

    May, 2020

  • SBNet: 用于快速推断的稀疏块网络

    本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

    Jan, 2018

  • 动态模型剪枝与反馈

    提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

    Jun, 2020

  • 动态区域感知卷积

    提出了一种名为 DRConv 的动态区域感知卷积，它可以自动将多个过滤器分配给具有相似表示的相应空间区域，以更有效处理复杂和不同的空间信息分布，从而代替任何现有网络中的标准卷积，尤其适用于高效网络中的动力卷积层。在 ImageNet 分类中，DRConv-based ShuffleNetV2-0.5x 在 46M 乘积添加水平下实现了 67.1% 的最新性能，相对改进了 6.3%。

    Mar, 2020