本文介绍了如何通过两种方法解决通过随机神经元的输入推算出相应梯度的问题，并提出了一种可行的解决方法，可应用于梯度估计与强化学习中，同时提出了一种新型硬判定单元的高偏差、低方差梯度估计方法，可用于实现稀疏表示和稀疏梯度。
May, 2013
研究使用四种方法解决带有随机神经元和硬非线性的神经网络中的梯度估计问题，其中一种最小方差无偏梯度估计器（REINFORCE算法的一种特殊情况）适用于随机二元神经元，另一种方法将二元随机神经元的操作分解为随机二元部分和平滑可微部分，在稀疏随机单元形成分布式表示的条件计算中可以得到更低的计算成本。
Aug, 2013
本研究介绍了一种通用框架，用于学习随机变量的黑盒函数的低方差、无偏梯度估计器，并应用于训练离散潜变量模型以及提出了基于优势演员-评论家强化学习算法的无偏、行为条件扩展。
Oct, 2017
本文介绍了DiCE，一种在随机计算图中生成任意阶导数的正确估计量的单一目标函数，相比使用固定的样本进行逼近的Surrogate Loss方法，DiCE使用自动微分进行图形操作，能更好地解决上述问题，同时提出了DiCE在多智能体学习中的应用。
Feb, 2018
本文提出一种通用且高效的通过强化学习概念来解决梯度估计算法高方差问题的方法，其中包括引入价值函数、基线和评论家等概念，实现了对随机计算图的梯度下降优化。
Jan, 2019
本文介绍了如何利用总导数规则创建图模型的梯度估算器，并基于密度估计和似然比梯度推导了新的梯度估算器。通过在基于模型的策略梯度算法中测试，本文证明了这些方法的有效性，并揭示了PILCO算法的成功之谜。
Feb, 2019
本文研究了学会学习的问题：推断出适用于从未知分布中抽样的任务的学习算法。作为算法类别，我们考虑正则化真实风险的随机梯度下降。我们提出了一个元算法，增量地更新偏置，从而解决了从一系列任务中估算偏置的问题。我们的结果表明，当任务数量增加且方差相对较小时，我们的学习方法在学习效果上具有重大优势。
Mar, 2019
介绍使用 Monte Carlo 梯度估计策略解决机器学习中的梯度问题和灵敏度分析的方法和历史发展，并深入探讨了路径、分数函数和测度梯度估计器的应用、关系和可能的泛化。
Jun, 2019
本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制，并利用影响收敛的隐含偏差的谱特点来解释结果，最终在大规模数据集上取得了最先进的预测性能和不确定性估计。
Jun, 2023
在当今时代，计算机、计算和数据在科学研究和发现中的重要性不断增加。本论文主要关注梯度本身，解决非线性优化问题，并介绍了逆向微分的概念和应用，以及分段连续模型的使用案例。
May, 2024