利用和保持卷积网络中的稀疏性的推断、学习和注意力机制

Jan, 2018

利用和保持卷积网络中的稀疏性的推断、学习和注意力机制

Inference, Learning and Attention Mechanisms that Exploit and Preserve Sparsity in Convolutional Networks

Timo Hackel, Mikhail Usvyatsov, Silvano Galliani, Jan D. Wegner, Konrad Schindler

TL;DR本文介绍一种利用 CNNs 去处理罕见数据的工具套件，包括直接稀疏卷积、注意力机制避免填充，以及适用于标准学习框架的反向传播算法改进，可以实现比传统密集框架更低的内存足迹和计算时间。

Abstract

While cnns naturally lend themselves to densely sampled data, and sophisticated implementations are available, they lack the ability to efficiently process sparse data. In this work we introduce a suite of tools that exploit →

cnns sparsity convolution gpu implementation back-propagation algorithm

发现论文，激发创造

使用稀疏卷积和指导剪枝加速 CNN

本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。

Aug, 2016

SBNet: 用于快速推断的稀疏块网络

本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

Jan, 2018

关于卷积神经网络中隐式滤波器级别稀疏性的研究

研究表明，使用 Batch Normalization 和 ReLU 激活的卷积神经网络，在采用适应性梯度下降和 L2 正则化或权重衰减训练的情况下，会出现滤波器级别的稀疏性，这种隐式的稀疏性可以利用以达到神经网络加速的效果。

Nov, 2018

稀疏不变卷积神经网络

本文提出了一种用于处理稀疏数据的卷积神经网络架构，采用了一种稀疏卷积层，能够在深度上采样中取得优异的实验效果，作者构建了一个新的基准数据集 KITTI benchmark 进行了验证。

Aug, 2017

卷积神经网络中的隐式滤波器稀疏化

研究发现，在采用批归一化和 ReLU 激活以及使用自适应梯度下降技术和 L2 正则化或权值衰减训练的卷积神经网络中，存在着隐式过滤器级别稀疏性，这可能与某些在文献中提出的过滤器稀疏化启发式的特定联系有关。进一步观察表明，特定功能的出现和随后的修剪是导致特征稀疏化的机制之一，导致的特征稀疏性与某些显式稀疏化 / 修剪方法相当甚至更好。本文总结了研究发现，并指出了选择性功能处罚的推论，这也可作为过滤器修剪的启发式方法。

May, 2019

卷积神经网络中稀疏性的力量

通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用，可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。

Feb, 2017

SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

Jul, 2020

FSCNN: 一种快速的稀疏卷积神经网络推理系统

本文主要介绍了利用大规模稀疏结构提高卷积神经网络推理效率的方法，开发了一种名为 FSCNN 的稀疏卷积神经网络推理系统，能够在一定的稀疏程度下优于标准深度学习库 PyTorch，但遇到高优化密集运算时推理效率有一定局限性，因此推荐采用粗粒度稀疏度进行通用模型压缩。

Dec, 2022

SPION: 基于卷积漫延的 Transformer 分层稀疏训练

我们提出了一种新颖的 Transformer 稀疏化方案，通过整合卷积滤波器和泛洪填充方法，高效捕捉自注意操作中的逐层稀疏模式，从而在 Transformer 的训练过程中降低计算复杂度和内存占用，实现了超过现有稀疏 Transformer 模型的 3.08 倍加速，并具有更好的评估质量。

Sep, 2023

内存受限的深度卷积神经网络

本研究探讨了在卷积神经网络的训练过程中使用稀疏性正则化的方法。我们的实验结果表明，使用这种正则化方法可以大幅减少神经网络所需的存储和计算开销，并且不会显著降低准确性。

Dec, 2014