该论文提出了一种基于 Stein 恒等式和核算子的谱分解的梯度估计器，其中的特征函数由 Nyström 方法近似，可以直接估计梯度函数，适用于无采样点的外样本拓展，应用于无梯度的 Hamiltonian Monte Carlo 和带隐式分布的变分推断，并通过和 Kernel PCA 的连系探讨了方法背后的原理，表明该估计器能够自适应于潜在分布的几何形态。

Jun, 2018

本文探讨了基于鲍姆 - 韦尔奇定理的 Stein 方法和 Score Matching 方法的核估计者，提出了一种基于正则化非参数回归框架的统一视角，允许我们分析现有的估计器并选择不同的假设空间和正则化器构建新的估计器。最后，我们提出了基于迭代正则化的分数估计器，它们受到无旋核和快速收敛的计算优势的支持。

May, 2020

本文介绍了一种新的生成模型，利用评分匹配来估计数据分布的梯度，通过 Langevin 动力学生成样本。我们的框架使得模型架构更加灵活，无需在训练期间进行抽样或使用对抗性方法，提供了可用于基于原则的模型比较的学习目标。在 MNIST、CelebA 和 CIFAR-10 数据集上，我们的模型产生的样本与 GAN 相当，实现了 CIFAR-10 inception 得分的新的最先进水平为 8.87。此外，我们通过图像修补实验证明了我们的模型学习到了有效的表示。

Jul, 2019

本文介绍了一种隐式随机梯度下降（ISGD）算法，其通过收缩标准随机梯度下降（SGD）算法的更新步长以提高稳定性，同时不增加计算负担。通过 ISGD 算法，可以估算广义线性模型、Cox 比例风险和 M 估计量等模型的参数，并提供了它们的理论分析，包括渐近性质和有限样本误差界。实验结果表明，ISGD 算法可在大规模数据集上提高运行效率。

Aug, 2014

通过无判别器方法训练一维隐式生成模型，然后扩展到多元情况，成功地学习真实分布并解决现有隐式方法存在的问题。

Feb, 2024

该论文探讨了训练无限层次的隐式模型的方法，提出了一种新的梯度估计方法 —— 幻影梯度，该方法通过对精确梯度的计算进行优化，可以加速模型训练，并提高模型性能。

Nov, 2021

使用斯坦因方法可以通过采样分布的渐变信息来减少蒙特卡罗估计器的方差，本文建立了一类基于斯坦因方法的估计器的理论界限，分析考虑了采样分布和测试函数的平滑程度，状态空间的维数，以及来源于马尔可夫链的非独立样本的情况，这些结果提供了关于基于梯度的估计器快速收敛的见解，以及澄清了这种方法固有的维度问题。

Mar, 2016

当学习速率足够小的时候，我们通过实验证明了一类大规模的权重梯度估计器等价于直通估计器 (STE)，无需改变权重初始化和学习速率，可用于处理量化感知训练中的梯度问题。

May, 2024

介绍使用 Monte Carlo 梯度估计策略解决机器学习中的梯度问题和灵敏度分析的方法和历史发展，并深入探讨了路径、分数函数和测度梯度估计器的应用、关系和可能的泛化。

Jun, 2019

本文提出了一种使用深度神经网络学习数据的互信息最大化表示来构建难以计算似然函数的隐式生成模型的摘要统计量，并将其应用于传统的近似贝叶斯计算和最近的神经似然方法，提高了它们的性能。

Oct, 2020