通过随机神经元估算或传播梯度以进行条件计算

Aug, 2013

通过随机神经元估算或传播梯度以进行条件计算

Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation

Yoshua Bengio, Nicholas Léonard, Aaron Courville

TL;DR研究使用四种方法解决带有随机神经元和硬非线性的神经网络中的梯度估计问题，其中一种最小方差无偏梯度估计器（REINFORCE 算法的一种特殊情况）适用于随机二元神经元，另一种方法将二元随机神经元的操作分解为随机二元部分和平滑可微部分，在稀疏随机单元形成分布式表示的条件计算中可以得到更低的计算成本。

Abstract

stochastic neurons and hard non-linearities can be useful for a number of reasons in deep learning models, but in many cases they pose a challenging problem: how to estimate the gradient of a loss function with respect to the input of such stochastic or non-smooth neurons? I.e., can we

stochastic neurons gradient estimation back-propagation binary stochastic neurons conditional computation

发现论文，激发创造

通过随机神经元估算或传播梯度

本文介绍了如何通过两种方法解决通过随机神经元的输入推算出相应梯度的问题，并提出了一种可行的解决方法，可应用于梯度估计与强化学习中，同时提出了一种新型硬判定单元的高偏差、低方差梯度估计方法，可用于实现稀疏表示和稀疏梯度。

May, 2013

使用随机计算图估算梯度

通过引入随机计算图的形式化方法，该论文描述了如何自动推导损失函数梯度的无偏估计量，提出了一种计算梯度估计器的算法，从而统一了以前工作中推导的估算器和其中的方差减少技术，该算法使得研究人员可以开发涉及随机和确定性操作相结合的复杂模型，包括注意力、记忆和控制动作。

Jun, 2015

MuProp: 随机神经网络的无偏反向传播

MuProp 是一种无偏的梯度估计器，用于训练包含离散采样操作的随机网络，并通过控制变量基于平均场网络的一阶泰勒展开来减少方差，其结果是无偏且经过良好的验证。

Nov, 2015

将随机梯度推向二阶方法 —— 通过非线性变换的反向传播学习

本研究提出针对神经网络的三个转换方法，以近似二阶优化方法提高学习速度，但第三个转换可能因收敛到局部最优解且隐藏神经元的输入和输出接近零而对性能造成损害。

Jan, 2013

学习二元随机前向神经网络的技术

研究了使用 M 个隐藏层激活的样本进行训练时的随机网络，探讨了三种潜在好处，即允许学习一对多类型的映射，可用于内部结构重要的结构预测问题以及在一般情况下启用更好的概括性能。同时提出了两种新的梯度估计器来训练随机网络，实验证明这两种估计器在训练算法中表现优异。

Jun, 2014

深度神经网络中条件前馈计算的低秩近似

本文研究深度神经网络中的可扩展性问题，提出了一种条件计算的方法，利用门控单元来确定节点何时进行计算，通过将权重矩阵分解成低秩逼近，能够有效地获得非线性激活前的正负号，在使用 ReLU 激活函数时，能够跳过一些节点的计算，加速稀疏神经网络的运行。实验结果显示，这种方法在 MNIST 和 SVHN 数据集上的性能稳健，对于条件计算过程引入的误差具有较好的鲁棒性。

Dec, 2013

脉冲神经网络的梯度下降

本研究提出了一种利用可微分脉冲神经网络模型的梯度下降方法，解决以往基于静态神经元的网络模型无法处理脉冲信号信息处理的问题。实验结果表明该方法可以优化脉冲神经网络的动态行为与行为时间的关系，并为基于脉冲信号的神经计算提供了通用的监督学习算法。

Jun, 2017

布朗非局域神经元与激活函数

在本文中，我们通过定义非局部方向导数的新概念，并分析其理论属性，推导出非局部导数是 ε-sub 梯度的概率重整结果，以及收敛于随机梯度下降方法的样本复杂度结果。最终，利用非局部梯度解决了图像关节流形上参数估计的高度不可微和非凸模型问题，并通过实验表明了在低训练数据情况下，使用布朗运动灌注的 ReLu 激活函数和非局部梯度胜过确定性的 ReLu 激活函数的优越的泛化能力。

Jun, 2024

二进制随机性实现高效神经形态深度学习，实现超越软件的精度

本文提出了一种二元随机学习算法，通过引入随机二元化，有符号二元化和分步权重更新，修改了所有基础神经网络操作，不需要高精度的处理，可以在硬件中实现，提高了神经网络系统的能效，并较高精度学习算法更有效。

Apr, 2023

离散与反向传播之间的桥梁：Through-Straight 及其拓展

本文提出 ReinMax 方法，通过集成 Heun's Method 来解决离散潜变量生成参数的梯度近似问题，该方法在结构化输出预测和无监督生成建模任务中均获得了比现有技术更好的结果，包括 ST 和 ST Gumbel-Softmax。

Apr, 2023