Powerpropagation：一种稀疏引导的权重重新参数化

Oct, 2021

Powerpropagation：一种稀疏引导的权重重新参数化

Powerpropagation: A sparsity inducing weight reparameterisation

Jonathan Schwarz, Siddhant M. Jayakumar, Razvan Pascanu, Peter E. Latham, Yee Whye Teh

TL;DR本文介绍了 Powerpropagation 方法，它是一种针对神经网络权重参数化的方法，使用梯度下降时可使权重更新呈现 “富者越富” 的动态，从而产生稀疏模型，在模型性能相似的情况下，分布在零点处的密度提高，使得更多参数可被安全地剪枝，并在两种不同的环境下都表现出优越性。

Abstract

The training of sparse neural networks is becoming an increasingly important tool for reducing the computational footprint of models at training and evaluation, as well enabling the effective scaling up of models. Whereas much work over the years has been dedicated to specialised pruni

sparse neural networks model sparsity powerpropagation weight-pruning catastrophic forgetting

发现论文，激发创造

前向和后向传播稀疏化提高神经网络训练效率

该研究提出了高效的稀疏训练方法，通过引入连续性问题，将优化过程分为权重更新和结构参数更新两个步骤，前者可利用稀疏结构实现，后者通过方差减少策略梯度估计器而获得全面稀疏训练，维度之间的联系局限在两个步骤中，展示了远远超过之前方法的训练加速效果。

Nov, 2021

动态稀疏重参数化实现深度卷积神经网络的参数高效训练

介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

Feb, 2019

meProp: 稀疏化反向传播，加速深度学习，降低过拟合

通过保留权重矩阵的前 k 个元素并实现前向传播和反向传播来减少计算成本，该方法可以提高神经网络的学习效率并改善其准确性。

Jun, 2017

深度学习中的稀疏性：剪枝和生长用于神经网络的高效推理和训练

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

SparseProp: 稀疏循环脉冲神经网络的高效事件驱动仿真与训练

本研究提出了一种名为 SparseProp 的新颖的基于事件的算法，用于模拟和训练稀疏的脉冲神经网络，并通过每个网络脉冲将前向传递和反向传递的计算复杂度从 O (N) 降低到 O (log (N))，从而实现了大规模脉冲网络的准确模拟和高效训练。

Dec, 2023

稀疏最大更新参数化：一种稀疏训练动态的整体方法

通过重新参数化超参数，SμPar 可以在不同的稀疏度级别和模型宽度变化时实现相同的最优超参数值，以解决稀疏神经网络的挑战，并在大规模语言建模中实现高达 8.2％的损失改进。

May, 2024

基于信号传播视角的神经网络初始化剪枝

该研究使用一种基于梯度的敏感度准则，阐述了初始化条件和网络结构剪枝的之间的关系，提出一种无需数据的改进方法，可用于图像分类任务中的先剪枝训练。

Jun, 2019

基于正则化的深度神经网络结构中不相关参数修剪

本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。

Apr, 2022

TinyProp -- 自适应稀疏反向传播用于高效的 TinyML 设备上的学习

使用 TinyProp 方法，在嵌入式设备上训练深度神经网络，可以显著减少计算负载和加快训练速度，同时减少了精度损失。

Aug, 2023

稀疏先验期望传播神经网络

本文介绍了一种非线性回归的新方法，使用具有稀疏性偏好的分层先验的两层神经网络模型结构。作者运用期望传播（EP）方法来近似计算权重、先验层级比例系数以及残差层级比例系数的后验分布，并提出了一种可扩展的方法来定义具有不同稀疏属性的权重先验。作者以模拟和真实世界数据为例，评估了方法的预测性能和层级先验的影响。

Mar, 2013