Nov, 2023

基于评分的生成模型学习具有约束混合的流形结构

PDF
TL;DR通过线性逼近和本地特征向量生成的子空间，调查经过训练的评分模型 (linear approximations and subspaces spanned by local feature vectors)，通过低维流形上支持的数据分布支持的得分模型 (score-based generative models) 学习数据分布是如何学习的。
score-based generative modelsdata distributionlow-dimensional manifoldlinear approximationssample sequences
发现论文，激发创造
  • 基于成绩的生成模型在学习亚高斯概率分布族中克服了维度诅咒

    分析使用得分为基础的生成模型在学习一类亚高斯概率分布时的近似和概括性，介绍了相对于标准高斯测度的概率分布的复杂性概念，证明了通过经验得分匹配生成的分布以维度无关的速率近似目标分布。通过包括某些高斯混合的示例说明了理论，证明中的一个基本要素是导出与正向过程相关的真实得分函数的无维度深度神经网络逼近速率，独立成趣。

    Feb, 2024

  • 黎曼分数基生成建模

    本研究介绍了一种称为 Riemannian Score-based Generative Models （RSGMs）的生成模型，采用一种新的方法将 SGMs 扩展到黎曼流形，尤其在地球和气候科学球形数据方面进行了演示。

    Feb, 2022

  • 闭合式扩散模型

    通过对闭式评分函数进行平滑处理，我们提出了一种无须训练即可生成新样本的 SGM 模型，并提出了一种高效的基于最近邻的评分函数估计器，使得我们的方法在使用消费级 CPU 运行时具有与神经 SGMs 相竞争的采样速度。

    Oct, 2023

  • 评分模型中的隐藏线性结构及其应用

    通过对分数函数的规范分析，我们发现分数模型中存在线性结构，从而能够精确预测初始扩散轨迹并加速图像采样 15-30%，对模型设计和数据预处理具有重要意义。

    Nov, 2023

  • 得分高不代表生成模型好

    通过样本复杂性论证，我们在特定设置下展示了得分函数训练良好的情况下，SGM 只能输出训练数据点的高斯模糊样本，从而模拟核密度估计的效果，这与最近的研究结果一致，揭示了 SGM 展示出记忆效应并且无法生成的弱点。

    Jan, 2024

  • 基于得分的生成建模分类

    该研究探讨了基于得分函数的梯度学习在判别式和生成式分类设置中的应用。实验表明，该方法适用于数据集的不平衡情况，有效提高了二分类性能。

    Jul, 2022

  • 多尺度建模中的微宏一致性：基于评分模型的辅助采样快慢动力系统

    在多尺度动力学系统中，通过代表性采样长时间尺度的相空间是一项有价值的工作，但也面临挑战。我们展示了基于评分的生成模型可以在这种耦合框架中用于提高多尺度动力学系统的采样效果。

    Dec, 2023

  • 子空间扩散生成模型

    通过在噪声映射运行限制后的高维扩散过程，实现基于评分模型生成高质量样本且减少计算量的方法。

    May, 2022

  • SDDM：用于非配对图像到图像转换的基于得分分解的流形扩散模型

    通过每个时间步骤在图像生成过程中优化纠缠的分布，以及通过降低维度但仍保持扰动参考图像高度集中的构建流形的块自适应实例归一化模块，新的基于分数分解扩散模型 (SDDM) 在多个 I2I 基准测试中表现优于现有的基于分数的扩散模型 (SBDM) 方法。

    Aug, 2023

  • 多尺度去噪得分匹配在高维空间中学习能量基模型

    本文提出一种利用多尺度去噪得分匹配的能量模型 (Energy-Based Model, EBM)，并利用多噪声级别的数据进行训练。该模型在高维数据的样本合成和密度估计方面取得了与 GAN 相当的性能，并在图像修复任务中表现良好。

    Oct, 2019