通过随机神经元估算或传播梯度

May, 2013

Estimating or Propagating Gradients Through Stochastic Neurons

Yoshua Bengio

TL;DR本文介绍了如何通过两种方法解决通过随机神经元的输入推算出相应梯度的问题，并提出了一种可行的解决方法，可应用于梯度估计与强化学习中，同时提出了一种新型硬判定单元的高偏差、低方差梯度估计方法，可用于实现稀疏表示和稀疏梯度。

Abstract

stochastic neurons can be useful for a number of reasons in deep learning models, but in many cases they pose a challenging problem: how to estimate the gradient of a loss function with respect to the input of su

stochastic neurons gradient estimation deep learning reinforcement learning sparse gradients

发现论文，激发创造

通过随机神经元估算或传播梯度以进行条件计算

研究使用四种方法解决带有随机神经元和硬非线性的神经网络中的梯度估计问题，其中一种最小方差无偏梯度估计器（REINFORCE 算法的一种特殊情况）适用于随机二元神经元，另一种方法将二元随机神经元的操作分解为随机二元部分和平滑可微部分，在稀疏随机单元形成分布式表示的条件计算中可以得到更低的计算成本。

Aug, 2013

MuProp: 随机神经网络的无偏反向传播

MuProp 是一种无偏的梯度估计器，用于训练包含离散采样操作的随机网络，并通过控制变量基于平均场网络的一阶泰勒展开来减少方差，其结果是无偏且经过良好的验证。

Nov, 2015

学习二元随机前向神经网络的技术

研究了使用 M 个隐藏层激活的样本进行训练时的随机网络，探讨了三种潜在好处，即允许学习一对多类型的映射，可用于内部结构重要的结构预测问题以及在一般情况下启用更好的概括性能。同时提出了两种新的梯度估计器来训练随机网络，实验证明这两种估计器在训练算法中表现优异。

Jun, 2014

使用随机计算图估算梯度

通过引入随机计算图的形式化方法，该论文描述了如何自动推导损失函数梯度的无偏估计量，提出了一种计算梯度估计器的算法，从而统一了以前工作中推导的估算器和其中的方差减少技术，该算法使得研究人员可以开发涉及随机和确定性操作相结合的复杂模型，包括注意力、记忆和控制动作。

Jun, 2015

推广平衡传播至矢量场动态

该论文探讨了反向传播算法的生物学可信度以及提出了一种基于平衡传导法、解决了双向信号问题和对称连接问题的前向和后向连接的学习方法。

Aug, 2018

将随机梯度推向二阶方法 —— 通过非线性变换的反向传播学习

本研究提出针对神经网络的三个转换方法，以近似二阶优化方法提高学习速度，但第三个转换可能因收敛到局部最优解且隐藏神经元的输入和输出接近零而对性能造成损害。

Jan, 2013

二进制随机性实现高效神经形态深度学习，实现超越软件的精度

本文提出了一种二元随机学习算法，通过引入随机二元化，有符号二元化和分步权重更新，修改了所有基础神经网络操作，不需要高精度的处理，可以在硬件中实现，提高了神经网络系统的能效，并较高精度学习算法更有效。

Apr, 2023

随机反向传播权重的梯度下降的收敛和对齐

该论文研究 “反馈对齐” 算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法，具有与非本地反向传播算法相当的性能提供了方法。

Jun, 2021

生物神经网络的学习基于随机梯度下降吗？一种使用随机过程的分析

通过研究生物神经网络中监督学习的随机模型，我们发现随机梯度下降法可能在优化生物神经网络中扮演角色。

Sep, 2023

回归捷径：缓解梯度消失以训练脉冲神经网络

该论文介绍了一种基于脉冲神经网络的快捷反向传播方法，用于解决梯度消失问题，并提出了一种进化训练框架，通过动态改变平衡系数来进一步提高网络性能。实验证明，该方法在静态和动态数据集上都优于现有方法。

Jan, 2024