本文介绍了如何通过两种方法解决通过随机神经元的输入推算出相应梯度的问题，并提出了一种可行的解决方法，可应用于梯度估计与强化学习中，同时提出了一种新型硬判定单元的高偏差、低方差梯度估计方法，可用于实现稀疏表示和稀疏梯度。
May, 2013
提出了一种新的算法 ProxProp，它通过隐式步骤而不是显式步骤更新神经网络训练期间的网络参数，该算法从后向传播算法的一般观点出发设计，将预测误差的反向传播与序列梯度下降步骤等效对应到二次惩罚能量上，具有下降方向的参数空间和与常见的一阶优化器 Adam 等相结合的优点。
Jun, 2017
研究使用四种方法解决带有随机神经元和硬非线性的神经网络中的梯度估计问题，其中一种最小方差无偏梯度估计器（REINFORCE 算法的一种特殊情况）适用于随机二元神经元，另一种方法将二元随机神经元的操作分解为随机二元部分和平滑可微部分，在稀疏随机单元形成分布式表示的条件计算中可以得到更低的计算成本。
Aug, 2013
本论文介绍了一种学习贝叶斯神经网络的新方法，称为概率反向传播 (PBP)，通过前向概率传递和后向梯度计算，PBP 比现有的贝叶斯技术更具可伸缩性，并提供了准确的网络权重后验方差估计。
Feb, 2015
研究了使用 M 个隐藏层激活的样本进行训练时的随机网络，探讨了三种潜在好处，即允许学习一对多类型的映射，可用于内部结构重要的结构预测问题以及在一般情况下启用更好的概括性能。同时提出了两种新的梯度估计器来训练随机网络，实验证明这两种估计器在训练算法中表现优异。
Jun, 2014
神经网络的不确定性量化对于评估深度学习系统的可靠性和鲁棒性至关重要。本文提出了一种无样本的矩阵传播技术，通过在网络中传播均值向量和协方差矩阵来准确表征神经网络的输入 - 输出分布。我们的技术的一个关键因素是解析解，用于描述通过非线性激活函数（如 Heaviside、ReLU 和 GELU）传递的随机变量的协方差。在对已训练的神经网络和贝叶斯神经网络的输入 - 输出分布进行分析的实验证明了所提出技术的广泛适用性和优点。
Mar, 2024
该论文提出了一种新的概率模型训练原则 —— 基于学习马尔可夫链的转移算子，其稳态分布估计数据分布，并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性，该方法也能适用于带有缺失变量的情况，并且不需要分层逐层预训练。
Jun, 2013
提供了一种比使用蒙特卡洛采样估计神经网络的认识不确定性的方法更加高效的近似方法，该方法适用于大规模视觉任务。
Aug, 2019
本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型，并引入了用于表示近似后验分布的识别模型，并利用随机反向传播来开发算法，实现生成和识别模型参数的联合优化，最终将模型应用于实际数据集，生成更真实的分布、准确地恢复缺失数据，并在高维数据的可视化上发挥了重要作用。
Jan, 2014
本研究提出了新的互补方法来估计回归神经网络中的预测方差网络，经验证明此方法大幅改善了预测不确定性的估计。
Jun, 2019