- 一种适用于采样的实用扩散路径
提出使用膨胀路径的简单实现 Langevin 动力学,通过自适应步长来引导扩张路径,以比传统方法更好地完成一系列任务的抽样方法。
- MM评估扩散型生成模型的设计空间
对于扩散模型的准确性进行了理论研究,通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析,并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合,明确了如何设计有效生成的训练和采样过程。
- 操作员提示的分数匹配用于马尔可夫扩散模型
利用马尔科夫扩散模型的优势,我们提出了 Riemannian 扩散核平滑和运算器信息得分匹配的技术,改善了扩散模型的训练过程。
- 高阶 Langevin 动力学的生成模型
提出了基于高阶 Langevin 动力学和评分匹配的快速高质量生成建模方法,通过同时建模位置、速度和加速度来改善数据生成的质量和速度,显著提高了 CIFAR-10 数据集上的 Frechet inception distance 和负对数似 - 基于分数的扩散模型通过随机微分方程
该篇论文是一篇关于基于分数的扩散模型的阐述性文章,重点介绍了通过随机微分方程 (SDE) 进行公式化。在温和的引言后,讨论了扩散建模的两个支柱 —— 抽样和得分匹配,其中包括 SDE/ODE 抽样,得分匹配效率,一致模型和强化学习。通过简短 - 粒子去噪扩散采样器
利用新颖的评分匹配损失,我们提出了一种基于粒子迭代方案的粒子去噪扩散取样器(PDDS),它能够在温和假设下提供渐近一致的估计,我们在多模态和高维取样任务上演示了 PDDS。
- 基于神经网络的扩散模型分值估计:优化与泛化
通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接,本文提出了第一次得分函数学习的一般化误差(样本复杂性)边界,从而克服了观测值中存在噪声的问题。
- 收缩扩散概率模型
扩散概率模型(DPM)是生成模型中一种有前途的技术,在时间反转的马尔科夫扩散过程和得分匹配的基础上取得成功。然而,鉴于得分匹配可能存在问题,我们提出了一种新的设计 DPMs 的准则 —— 反向采样的压缩,从而构建了一类新型的压缩 DPMs( - SMaRt:基于分数匹配规则改进 GANs
生成对抗网络(GAN)的数学基础不足以解决复杂多样数据的学习问题,通过引入分数匹配(score matching)的正则化优化方法(SMaRt),在各种现实世界数据集上提高了各种最新 GAN 的综合性能。
- 时空多模态协变深度核点过程的无集成训练
本研究提出了一种新颖的深空时点过程模型,它结合了多模态协变量信息,通过使用更灵活的深度核模型复杂事件与协变量数据之间的关系,提高了模型的表达能力。为了解决由于非可积深度核导致的 DKMPP 不可行的训练过程,我们采用了基于分数匹配的无积分方 - 基于行动原理的生成扩散
生成扩散模型通过将给定的数据集转化为通用噪声的扩散过程逆转来合成新样本,通过训练神经网络来匹配给定数据集的概率分布的对数梯度,同时将逆扩散视为最优控制问题,从而证明了得分匹配可以从动作原理派生出来,类似于物理学中常用的那些;我们利用这一观点 - ICLR基于分数匹配的半隐式变分推断
SIVI-SM 是基于分数匹配的新的 SIVI 方法,通过利用半隐变分族的分层结构,允许使用少噪声分数匹配处理难以处理的变分密度,SIVI-SM 在各种贝叶斯推理任务中准确性与 MCMC 相当,并且优于基于 ELBO 的 SIVI 方法。
- 能量不一致性:一种基于能量模型独立于评分的损失函数
提出了一种新的损失函数 —— 能量差异,可以快速且准确地训练能量模型,并在极限情况下逼近显式分数匹配和负对数似然损失,解决了分数估计方法中存在的近视问题,同时也具有理论保证。
- Score Matching 的可证明优势
本文提出了一种自然指数分布家族 - 多项式指数分布家族, 对于这个家族的分布进行最大似然和得分匹配的比较研究,揭示得分匹配的损失函数可以通过计算复杂度低的优化方法进行计算,且在统计效率上与最大似然方法相当,而最大似然损失函数是无法通过基于梯 - ICML截断密度估计的近似斯坦类
本文提出了基于近似 Stein 类的方法以及使用截断内核 Stein 差异度量(TKSD)的拉格朗日可对偶方法,用于解决截断密度估计问题,实验表明该方法的准确性提高了。
- Gumbel 噪声得分匹配进行的异常检测
本文提出了一种名为 GNSM 的新型无监督方法,采用得分匹配训练目标来检测分类数据中的异常点,并将其应用于图像数据的分割失败预测,通过对实验结果的分析证明了该方法的高效性。
- 函数空间中的基于分数的扩散模型
本研究提出了一种名为去噪扩散算子的数学严谨框架,用于在函数空间中训练扩散模型,将它推广到无限维函数空间的应用,其中前向过程是逐渐扰动输入函数,生成过程是通过积分的函数值 Langevin 动力学实现。
- 基于扩散的图生成模型:方法与应用
本论文总结了扩散模型在图像生成方面的成功,并介绍了扩散模型在图生成方面的应用,特别是从分子和蛋白质建模方面进行了重点讨论,并讨论了扩散模型在图结构数据中的新方向。
- 基于得分的生成建模分类
该研究探讨了基于得分函数的梯度学习在判别式和生成式分类设置中的应用。实验表明,该方法适用于数据集的不平衡情况,有效提高了二分类性能。
- 训练能量基模型的方法
这篇论文介绍了基于能量的模型(EBM)及其训练方法,包括最大似然训练法和 MCMC 自由法,同时介绍了 SM 和 NCE 等方法并强调它们三者之间的理论联系。