活动稀疏性与权重稀疏性相辅相成，用于高效的 RNN 推理

Nov, 2023

活动稀疏性与权重稀疏性相辅相成，用于高效的 RNN 推理

Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference

Rishav Mukherji, Mark Schöne, Khaleelulla Khan Nazeer, Christian Mayr, Anand Subramoney

TL;DR通过对参数进行稀疏化，结合稀疏激活在递归神经网络中的相乘作用，实现了对神经网络计算成本高效率的优化，可以应用于神经形态计算设备上，同时不牺牲任务性能。

Abstract

artificial neural networks open up unprecedented machine learning capabilities at the cost of ever growing computational requirements. Sparsifying the parameters, often achieved through weight pruning, has been i

artificial neural networks weight pruning sparse activations recurrent neural network neuromorphic computing

发现论文，激发创造

神经形态语言模型中的权重稀疏性与活动稀疏性相辅相成

通过研究神经网络的活动稀疏性和参数稀疏性，探讨了在序列建模中将两者相结合的权重剪枝的效果，结果表明稀疏连接的基于事件的神经网络是有效和高效的序列建模模型。

May, 2024

通过活动稀疏性和时间上的稀疏反向传播实现高效的循环神经网络结构

通过实现神经元活动的动态稀疏化，提出了一种基于门控循环单元（GRU）并适用于新颖的节能神经形态硬件的递归神经网络（RNN）的通信稀疏离散化解决方案。该模型在不影响任务性能的前提下实现了高效，与现有最先进的循环神经网络模型在语言建模等实际任务中表现同样出色。

Jun, 2022

基于脉冲活动修剪的高效深度脉冲神经网络构建

基于脉冲神经网络（SNN）的结构稀疏化，提出了一种基于卷积核活动水平的结构删减方法，通过动态调整网络结构使其更适应当前目标任务，提高模型的适应性、降低计算负载和加速推理过程。

Jun, 2024

稀疏激活下的神经网络学习

许多成功的神经网络结构中的核心组件是一个具有非线性激活函数的两个全连接层的 MLP 块。我们在本文中对展示出激活稀疏性的 MLP 层的 PAC 可学习性进行了形式化研究，并呈现了多种实验结果，表明这类函数相对于非稀疏的对应物具有计算和统计上的优势。我们希望对 “激活稀疏” 的网络有更好的理论认识，以便能够在实践中利用激活稀疏性。

Jun, 2024

通过半结构化激活稀疏化加速深度神经网络

通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。

Sep, 2023

监督学习中的稀疏活动和稀疏连接

本文提出了一个利用稀疏性来增强分类能力的模型，在该模型中，利用稀疏活动和稀疏连接来实现分类，实现这一目标的工具是一种稀疏度投影算子，该算子可以找到给定向量的最接近预定义的稀疏向量。在理论部分中开发了一种全面的理论来进行这种投影，并证明该投影在几乎所有地方均可微分，因此可以作为平滑的神经元转移函数实现。在 MNIST 数据库的实验中，分类性能可以通过稀疏活动或稀疏连接提高，并且两者的组合将显著优于经典的非稀疏方法。

Mar, 2016

深度学习中的稀疏性：剪枝和生长用于神经网络的高效推理和训练

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

通过修剪激活梯度加速 CNN 训练

通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

Aug, 2019

探索循环神经网络中的稀疏性

该论文提出了一种通过初始训练过程中修剪权重来减少模型参数的技术，以便在减小了模型大小的同时，保留了准确度并显著提高了推理时间，在基准测试中使用该技术可以将模型大小降低 90%，速度提高 2 倍至 7 倍

Apr, 2017

大规模神经架构的反向传播压缩：结构化激活剪枝

通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小 GPU 内存需求，从而降低大规模模型训练的要求并解决生态环境问题。

Nov, 2023