- 自定义梯度估计器乃掩饰过后的直通式估计器
当学习速率足够小的时候，我们通过实验证明了一类大规模的权重梯度估计器等价于直通估计器 (STE)，无需改变权重初始化和学习速率，可用于处理量化感知训练中的梯度问题。
- 用于离散决策众包模型校准的自动梯度估计
该研究探讨了用于模拟交通疏散的基于力的模型的校准问题，研究了梯度下降和元启发式方法，在分析中发现梯度估计的精度受到模型特性和参数分布的影响。
- 黑盒变分推断的可证收敛性保证
针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.
- AAAI隐式双层优化：通过双层优化规划进行求导
本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降 - 双层优化与 Stackelberg 博弈的一阶收敛方法
本研究提出了一种使用一阶信息解决一类双层优化问题的算法，该算法不需要使用二级目标的梯度的标准估计器或内部问题的近似解算器，而是交替使用幼稚的优化方法降低内部问题和使用特殊构建的梯度估计器降低上层目标函数，我们提供了双层目标的到达平稳点的非渐 - ICML基于鲁棒的随机微分方程变分公式的深度学习求解线性偏微分方程
该研究探讨了利用 Monte Carlo 方法和深度学习解决高维偏微分方程（PDE）的有效算法，并提供了一些新方法，这些方法在利用梯度优化方法最小化相应损失时具有低差异性，并提高了所提到的现有深度学习方法的性能。
- 随机偏差减小梯度法
本文提出一种新的随机优化原理，即使用 Blanchet 和 Glynn 的多级 Monte-Carlo 方法将任何最优随机梯度方法转换为 $x_*$ 的估计量，以此为基础获得了一种廉价且几乎无偏差的梯度估计器，可以应用于随机优化的多个领域， - 离散潜变量的联合梯度估计器
该研究提出了一种基于重要性采样和统计耦合的派生估计器，将分类变量重新参数化作为二进制序列，并进行 Rao-Blackwellization，结果表明该方法在离散潜变量训练中具有最先进的性能。
- 基于随机 telescopingsum 的循环和限制有效优化
本文提出了一种随机抽样方法 — 随机望远镜梯度估计器，用于解决目标函数计算困难，梯度计算偏差较大的优化问题，通过线性组合计算序列的求和来提供低成本无偏的梯度估计。
- 李群上的重参数化分布
本文提出了一种通用的框架，以在任意 Lie 群上创建可重参数化密度，并提供了详细的从业者指南，展示了如何在面向 3D 旋转的定向群 $SO (3)$ 上使用归一化流创建复杂的和多模态的分布，其应用于具有离散和连续对称性的对象的姿态估计中展示 - 全随机梯度算法及其在强化学习中的应用
本文介绍了如何利用总导数规则创建图模型的梯度估算器，并基于密度估计和似然比梯度推导了新的梯度估算器。通过在基于模型的策略梯度算法中测试，本文证明了这些方法的有效性，并揭示了 PILCO 算法的成功之谜。
- 隐式重参数化梯度
提供了一种简单而高效的计算持续性随机变量低方差梯度的方法，称为重新参数化技巧，但它并不适用于许多重要的连续分布。 本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法，并证明了其对 Gamma，Beta，Dirichlet 和 von M - ICLR程序超优化学习
本研究提出了一种新的基于学习的方法来对程序进行超优化，该方法利用无偏估计梯度来学习建议分布以提高程序性能，实验表明，该方法能够在超优化方面显着优于现有的基于规则和基于随机搜索的方法。