基于成绩的生成模型在学习亚高斯概率分布族中克服了维度诅咒
通过对闭式评分函数进行平滑处理,我们提出了一种无须训练即可生成新样本的 SGM 模型,并提出了一种高效的基于最近邻的评分函数估计器,使得我们的方法在使用消费级 CPU 运行时具有与神经 SGMs 相竞争的采样速度。
Oct, 2023
通过样本复杂性论证,我们在特定设置下展示了得分函数训练良好的情况下,SGM 只能输出训练数据点的高斯模糊样本,从而模拟核密度估计的效果,这与最近的研究结果一致,揭示了 SGM 展示出记忆效应并且无法生成的弱点。
Jan, 2024
通过线性逼近和本地特征向量生成的子空间,调查经过训练的评分模型 (linear approximations and subspaces spanned by local feature vectors),通过低维流形上支持的数据分布支持的得分模型 (score-based generative models) 学习数据分布是如何学习的。
Nov, 2023
本研究介绍了一种称为 Riemannian Score-based Generative Models (RSGMs)的生成模型,采用一种新的方法将 SGMs 扩展到黎曼流形,尤其在地球和气候科学球形数据方面进行了演示。
Feb, 2022
通过不确定性量化的视角,我们证明基于得分的生成模型对实际实现中的多重误差具有可靠性。利用 Wasserstein 不确定性传播定理,我们展示了有限样本近似、提前停止、得分匹配目标选择、得分函数参数化表达能力以及参考分布选择所导致的误差如何影响生成模型的质量。Wasserstein 不确定性传播定理适用于超过 $d_1$ 的积分概率度量,如总变差距离和最大平均差距。我们的方法假设最少,与流形假设无关,并避免了目标分布的绝对连续性假设。此外,我们的结果阐明了 SGM 中多个误差来源之间的权衡。
May, 2024
在本研究中,我们针对具有最先进性能的分数生成模型(SGMs)这一最新类别的深度生成模型,基于确切的评分估计和平滑的对数凹分布假设,在 2-Wasserstein 距离上提出了收敛性保证。我们针对几种具体的 SGM 模型将结果特化,这些模型采用了由随机微分方程建模的前向过程的特定选择,并获得了每个模型的迭代复杂度的上界,从而展示了不同前向过程选择的影响。当数据分布为高斯分布时,我们还提供了一个下界。在数值上,我们使用不同前向过程的 SGMs 进行 CIFAR-10 的无条件图像生成实验。我们发现实验结果与我们关于迭代复杂度的理论预测非常吻合,并且具有我们新提出的前向过程的模型可以胜过现有模型。
Nov, 2023
本文研究基于分数的生成模型(SGMs)中遇到的向后过程收敛性问题,提出了基于预测校正方案的近似 Langevin 动力学方法,并在有限时间内提供了 Wassertein 距离的收敛保证。
May, 2023
提出了一种基于变分自编码器框架的潜在分数生成模型 (LSGM),通过使用潜在空间代替数据空间进行训练,使得该模型可以更加高效地生成样本且在多项任务方面取得了最先进的成果,同时在训练目标中提出多种方差约束的技术以保证其在稳定性和可扩展性上的表现。
Jun, 2021
利用深度神经网络来近似评分函数的效率在基于扩散的生成建模中进行了研究,我们观察到评分函数可以通过变分推断去噪算法在图模型中得到较好的近似,同时这些算法适用于高效的神经网络表示,通过示例验证了这一观察,并结合离散化误差界限为基于扩散的生成建模提供了有效的样本复杂度界限。
Sep, 2023