Aug, 2023

TinyProp -- 自适应稀疏反向传播用于高效的 TinyML 设备上的学习

PDF
TL;DR使用 TinyProp 方法，在嵌入式设备上训练深度神经网络，可以显著减少计算负载和加快训练速度，同时减少了精度损失。
deep neural networksbackpropagationsparse backpropagationon-device learningtinyprop
发现论文，激发创造
  • SparseProp: 稀疏循环脉冲神经网络的高效事件驱动仿真与训练

    本研究提出了一种名为 SparseProp 的新颖的基于事件的算法，用于模拟和训练稀疏的脉冲神经网络，并通过每个网络脉冲将前向传递和反向传递的计算复杂度从 O (N) 降低到 O (log (N))，从而实现了大规模脉冲网络的准确模拟和高效训练。

    Dec, 2023

  • meProp: 稀疏化反向传播，加速深度学习，降低过拟合

    通过保留权重矩阵的前 k 个元素并实现前向传播和反向传播来减少计算成本，该方法可以提高神经网络的学习效率并改善其准确性。

    Jun, 2017

  • Powerpropagation：一种稀疏引导的权重重新参数化

    本文介绍了 Powerpropagation 方法，它是一种针对神经网络权重参数化的方法，使用梯度下降时可使权重更新呈现 “富者越富” 的动态，从而产生稀疏模型，在模型性能相似的情况下，分布在零点处的密度提高，使得更多参数可被安全地剪枝，并在两种不同的环境下都表现出优越性。

    Oct, 2021

  • 前向和后向传播稀疏化提高神经网络训练效率

    该研究提出了高效的稀疏训练方法，通过引入连续性问题，将优化过程分为权重更新和结构参数更新两个步骤，前者可利用稀疏结构实现，后者通过方差减少策略梯度估计器而获得全面稀疏训练，维度之间的联系局限在两个步骤中，展示了远远超过之前方法的训练加速效果。

    Nov, 2021

  • TinyTrain：极端边缘的深度神经网络训练

    TinyTrain 是一个在设备上训练的方法，通过选择性更新模型的部分并明确处理数据稀缺性，大大减少了训练时间，在减少计算和内存占用的同时，实现了高精度的未知任务。

    Jul, 2023

  • 抖动反向传播：一种用于更高效深度神经网络训练的稀疏量化反向传播算法

    本篇论文提出了一种名为 Dithered Backprop 的降低了反向传播的计算成本的方法，该方法利用一种被称为非减少抖动的量化方法诱导了稀疏性，从而可以通过计算高效的稀疏矩阵乘法来利用它，并证明该方法对于一些图像分类任务而言可以在不降低准确性的情况下实现 92％的稀疏性，同时与现有的 8 位训练方法完全兼容，因此能够进一步降低计算要求。

    Apr, 2020

  • MuProp: 随机神经网络的无偏反向传播

    MuProp 是一种无偏的梯度估计器，用于训练包含离散采样操作的随机网络，并通过控制变量基于平均场网络的一阶泰勒展开来减少方差，其结果是无偏且经过良好的验证。

    Nov, 2015

  • 卷积神经网络的最小化误差反向传播

    该研究提出了一种有效的计算方法，通过对全梯度的精简计算以及对梯度进行稀疏选择，来提高卷积神经网络中反向传播的计算效率，实验结果表明只有 5% 的梯度需要上传就可以达到原始 CNN 的效果甚至更好。

    Sep, 2017

  • 深度学习的训练简化与模型简化：一种最小化反向传播方法

    该研究提出了一种基于梯度稀疏化和模型简化的技术来降低神经网络的训练和推断计算开销，并且在不降低模型准确率的情况下，实现了对模型的自适应简化，具有很高的应用价值。

    Nov, 2017

  • Proximal Backpropagation

    提出了一种新的算法 ProxProp，它通过隐式步骤而不是显式步骤更新神经网络训练期间的网络参数，该算法从后向传播算法的一般观点出发设计，将预测误差的反向传播与序列梯度下降步骤等效对应到二次惩罚能量上，具有下降方向的参数空间和与常见的一阶优化器 Adam 等相结合的优点。

    Jun, 2017