非可导模型的重参数化梯度
本研究提出了一种新方法，使得基于接受拒绝采样算法的随机变量也可以使用再参数化技巧，这种方法可以扩展再参数化技巧的适用范围，且实验表明该方法可以获得比其他现有技术更低的梯度估计方差，从而实现更快的随机梯度变分推断收敛。
Oct, 2016
通过 reparameterization trick 和新的变换方法，本文提出了一种有效的估算混合密度模型中梯度的方法，可以用于训练具有混合分布潜变量的变分自编码器或执行混合密度变分后验的随机变分推断。
Jul, 2016
提供了一种简单而高效的计算持续性随机变量低方差梯度的方法，称为重新参数化技巧，但它并不适用于许多重要的连续分布。 本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法，并证明了其对 Gamma，Beta，Dirichlet 和 von Mises 分布具有更广泛的适用性，并且实验表明所提出的方法比现有的梯度估计方法更快，更准确。
May, 2018
本研究提出了一种基于控制变量（control variate）方法，通过估计梯度样本的生成过程近似减少噪声梯度的方差，取得了多个数量级（20-2,000 倍）的优化效果提升，在非共轭多级层次模型和贝叶斯神经网络实验中证明了其有效性。
May, 2017
本文提出广义重参数化梯度，将此技术拓展到更大范围的变分分布，使用潜在变量的可逆变换，组合重参数化梯度和分数函数梯度得到新的 Monte Carlo 梯度，并在两个复杂的概率模型上展示了其高效性。
Oct, 2016
本文探讨变分推断问题中使用重新参数化技巧的效果，通过理论分析和实验展示了其优越性，重点在于阐述它相比于其他方法更准确地估计了 variational objective 的梯度。
Sep, 2018
介绍了一种针对非可微模型的新型随机梯度下降（SGD）方法，利用渐进平滑逼近方法提高了渐进平滑逼近的精度，并证明了收敛到原始目标的固定点，在实验中表现出了简单、快速、稳定的特点，并实现了工作归一化方差的数量级降低。
Feb, 2024
本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。
Dec, 2019