通过样本复杂性论证,我们在特定设置下展示了得分函数训练良好的情况下,SGM 只能输出训练数据点的高斯模糊样本,从而模拟核密度估计的效果,这与最近的研究结果一致,揭示了 SGM 展示出记忆效应并且无法生成的弱点。
Jan, 2024
提出了一种基于变分自编码器框架的潜在分数生成模型 (LSGM),通过使用潜在空间代替数据空间进行训练,使得该模型可以更加高效地生成样本且在多项任务方面取得了最先进的成果,同时在训练目标中提出多种方差约束的技术以保证其在稳定性和可扩展性上的表现。
Jun, 2021
本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法,该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。
Jul, 2022
分析使用得分为基础的生成模型在学习一类亚高斯概率分布时的近似和概括性,介绍了相对于标准高斯测度的概率分布的复杂性概念,证明了通过经验得分匹配生成的分布以维度无关的速率近似目标分布。通过包括某些高斯混合的示例说明了理论,证明中的一个基本要素是导出与正向过程相关的真实得分函数的无维度深度神经网络逼近速率,独立成趣。
Feb, 2024
提出了一种从条件的基于分数的生成模型中强制执行任意逻辑约束条件进行采样的方法,采用柔性和数值稳定的神经符号框架来编码逻辑约束条件,并通过有效的启发式算法改进了近似条件采样算法的准确性。
Aug, 2023
本研究介绍了一种称为 Riemannian Score-based Generative Models (RSGMs)的生成模型,采用一种新的方法将 SGMs 扩展到黎曼流形,尤其在地球和气候科学球形数据方面进行了演示。
Feb, 2022
在本研究中,我们针对具有最先进性能的分数生成模型(SGMs)这一最新类别的深度生成模型,基于确切的评分估计和平滑的对数凹分布假设,在 2-Wasserstein 距离上提出了收敛性保证。我们针对几种具体的 SGM 模型将结果特化,这些模型采用了由随机微分方程建模的前向过程的特定选择,并获得了每个模型的迭代复杂度的上界,从而展示了不同前向过程选择的影响。当数据分布为高斯分布时,我们还提供了一个下界。在数值上,我们使用不同前向过程的 SGMs 进行 CIFAR-10 的无条件图像生成实验。我们发现实验结果与我们关于迭代复杂度的理论预测非常吻合,并且具有我们新提出的前向过程的模型可以胜过现有模型。
Nov, 2023
通过对闭式评分函数进行平滑处理,我们提出了一种无须训练即可生成新样本的 SGM 模型,并提出了一种高效的基于最近邻的评分函数估计器,使得我们的方法在使用消费级 CPU 运行时具有与神经 SGMs 相竞争的采样速度。
Oct, 2023
通过利用未标注的三元组,本研究介绍了一种自我训练框架(ST-SGG),以缓解场景图生成模型在长尾问题上的困扰。同时提出了一种适用于任何现有场景图生成模型的称为 Class-specific Adaptive Thresholding with Momentum(CATM)的新型伪标记技术,并设计了一个对基于消息传递神经网络(MPNN)的场景图生成模型具有益处的图结构学习器(GSL)。实验验证了 ST-SGG 在各种场景图生成模型中的有效性,特别是在细粒度谓词类的性能提升方面。
通过使用现成的预训练分类器在无需额外计算成本的情况下,提出了预处理技术来引导扩散生成,旨在实现比现有方案更显著的性能改进,尤其是在图像生成任务中。