我们提出了一种基于正则化密度的 Sobolev 范数的非参数密度估计的新方法，该方法与核密度估计不同，使模型的偏差清晰且可解释，虽然没有与其关联的核的封闭解析形式，但我们展示了可以使用采样来近似它，所需确定密度的优化问题是非凸的，并且标准梯度法性能不佳，然而我们展示了适当的初始化和使用自然梯度可以得到良好的解，最后，虽然该方法提供未归一化的密度，无法使用对数似然进行交叉验证，但我们展示了可以使用基于费歇分歧的得分匹配方法来完成此任务，我们在最近的安全检测基准套件 ADBenchn 上对所得方法进行了评估，发现排名第二，超过 15 种算法。

Jul, 2023

本研究提出了一种学习指数族密度模型的快速方法，其中自然参数在再生核希尔伯特空间中，可以是无限维的。该模型通过拟合对数密度的导数来实现学习，从而避免了计算归一化常数的需求。该方法在密度估计和构建自适应哈密尔顿蒙特卡洛取样器方面得到了评估。

May, 2017

通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

Jan, 2024

本研究提出了一种新的分数匹配方法，即 sliced score matching，该方法仅涉及 Hessian-vector product，在更复杂的模型和高维数据上具有良好的鲁棒性和可扩展性，并可用于学习深层次的隐式分布模型和训练 Wasserstein Auto-Encoders 模型。

May, 2019

本文提出了基于近似 Stein 类的方法以及使用截断内核 Stein 差异度量（TKSD）的拉格朗日可对偶方法，用于解决截断密度估计问题，实验表明该方法的准确性提高了。

Jun, 2023

该论文提出了斯坦梯度估计器，通过直接估计隐式定义分布的评分函数，消除了许多学习隐式模型的近似。该方法的有效性通过元学习和熵正则化 GAN 的实例得到了证明。

May, 2017

该论文提出了一种基于核函数的机器学习算法，可以通过对数据集的分组进行处理，采用独立同分布的样本集作为数据点，利用非参数估计器提取核函数特征从而实现多种分类、回归和异常检测等任务。

Feb, 2012

该研究探讨了基于得分函数的梯度学习在判别式和生成式分类设置中的应用。实验表明，该方法适用于数据集的不平衡情况，有效提高了二分类性能。

Jul, 2022

评分函数估计是训练和采样扩散生成模型的基石。我们引入了一种利用训练集中的多个样本来大幅降低估计方差的新型最近邻评分函数估计器，并将其应用于一致性模型训练中，加快收敛速度并提高样本质量。在扩散模型中，我们展示了该估计器可以替代学习网络用于概率流 ODE 积分，为未来研究开辟了有希望的新途径。

Feb, 2024

本文提出了一种统一的视角来描述和设计基于最小 Stein 距离的估计器，并使用这种方法来设计新的扩散核 Stein 距离（DKSD）和扩散分数匹配（DSM）估计器，证明了它们的一致性、渐近正常性和鲁棒性，并为它们的高效优化推导了随机黎曼梯度下降算法。该方法的主要优势在于其灵活性，使我们能够通过仔细选择 Stein 距离来为特定的模型设计具有理想性质的估计器，并在一些具有挑战性的问题上进行了演示，例如光滑、重尾或轻尾密度的分数匹配。

Jun, 2019