学习斯坦差异以训练和评估能量模型，而无需进行抽样

ICMLFeb, 2020

学习斯坦差异以训练和评估能量模型，而无需进行抽样

Learning the Stein Discrepancy for Training and Evaluating Energy-Based Models without Sampling

Will Grathwohl, Kuan-Chieh Wang, Jorn-Henrik Jacobsen, David Duvenaud, Richard Zemel

TL;DR我们提出了一种评估和训练非归一化密度模型的新方法，该方法仅需要访问非归一化模型的对数密度的梯度，并使用神经网络参数化数据的向量函数 q (x)，通过估算数据密度 p (x) 与模型密度 q (x) 之间的 Stein 差异来进行模型拟合和拟合度检验，这种方法在高维数据上表现出更好的性能和可扩展性。

Abstract

We present a new method for evaluating and training unnormalized density models. Our approach only requires access to the gradient of the unnormalized model's log-density. We estimate the stein discrepancy between the data density $p(x)$ and the model density $q(x)$ defined by a vector

unnormalized density models stein discrepancy neural network goodness-of-fit test high dimensional data

发现论文，激发创造

斯坦神经采样器

使用神经网络构建的两种采样器，通过训练最小化 Stein discrepancy 的方法，针对非标准化密度函数生成高质量的样本，相对传统采样方法具有更优的收敛性能。

Oct, 2018

核化斯坦差异度用于拟合优度检验和模型评估

本文提出了一种新的差异度量统计量，该统计量基于 Stein 的恒等式和再生核希尔伯特空间理论相结合。我们将其应用于测试概率模型与观测值的拟合程度，并派生了一类新的强大的适用于复杂和高维分布的拟合优度检验，即使对于具有计算难度的常数归一化分布亦如此。我们全面研究了方法的理论和实证特性。

Feb, 2016

能量不一致性：一种基于能量模型独立于评分的损失函数

提出了一种新的损失函数 —— 能量差异，可以快速且准确地训练能量模型，并在极限情况下逼近显式分数匹配和负对数似然损失，解决了分数估计方法中存在的近视问题，同时也具有理论保证。

Jul, 2023

最小斯坦（Stein）差异估计量

本文提出了一种统一的视角来描述和设计基于最小 Stein 距离的估计器，并使用这种方法来设计新的扩散核 Stein 距离（DKSD）和扩散分数匹配（DSM）估计器，证明了它们的一致性、渐近正常性和鲁棒性，并为它们的高效优化推导了随机黎曼梯度下降算法。该方法的主要优势在于其灵活性，使我们能够通过仔细选择 Stein 距离来为特定的模型设计具有理想性质的估计器，并在一些具有挑战性的问题上进行了演示，例如光滑、重尾或轻尾密度的分数匹配。

Jun, 2019

使用能量偏差训练离散能量模型

本文介绍了通过能量差异（ED）这种新型对比损失函数训练离散能量模型（EBMs）的方法，并研究了基于伯努利噪声、确定性变换和邻域结构的三种扰动过程对其效果的影响。

Jul, 2023

截断密度估计的近似斯坦类

本文提出了基于近似 Stein 类的方法以及使用截断内核 Stein 差异度量（TKSD）的拉格朗日可对偶方法，用于解决截断密度估计问题，实验表明该方法的准确性提高了。

Jun, 2023

切片核化斯坦差异度

提出了基于切片的 Stein discrepancy 和其可扩展和带核变体，这些变体采用基于核的测试函数，定义在最佳一维投影上，用于拟合优度检验和模型学习。在高维度下的拟合优度检验以及基于不同差异训练独立分量分析模型的结果表明，所提出的差异在性能上明显优于 KSD 和其他基准。此外，进一步提出了一种名为 sliced Stein 变分梯度下降（S-SVGD）的粒子推断方法，该方法可以缓解 SVGD 在训练变分自动编码器时的模式塌陷问题。

Jun, 2020

利用 Jarzynski 等式高效训练基于能量的模型

本文介绍了一种基于 Jarzynski 平等和序贯蒙特卡洛抽样工具的改进型未校正 Langevin 算法来更有效地计算交叉熵的梯度，避免了标准对比散度算法中存在的不可控逼近问题，在高斯混合分布和 MNIST 数据集上的实验结果均显示该方法优于对比散度算法。

May, 2023

随机特征斯坦差异

提出了一种新的质量度量方法 - 特征 Stein 差异度量（PhiSD），可通过重要抽样方法进行便宜的近线性逼近，适用于近似后验推断和适配度检验。在实验证明，在速度方面比平方时间差异度量 (KSD) 更快，可在计算中进行价值代替。

Jun, 2018

隐式归一化显式正则化密度估计

我们提出了一种基于正则化密度的 Sobolev 范数的非参数密度估计的新方法，该方法与核密度估计不同，使模型的偏差清晰且可解释，虽然没有与其关联的核的封闭解析形式，但我们展示了可以使用采样来近似它，所需确定密度的优化问题是非凸的，并且标准梯度法性能不佳，然而我们展示了适当的初始化和使用自然梯度可以得到良好的解，最后，虽然该方法提供未归一化的密度，无法使用对数似然进行交叉验证，但我们展示了可以使用基于费歇分歧的得分匹配方法来完成此任务，我们在最近的安全检测基准套件 ADBenchn 上对所得方法进行了评估，发现排名第二，超过 15 种算法。

Jul, 2023