Oct, 2019

多尺度去噪得分匹配在高维空间中学习能量基模型

PDF
TL;DR本文提出一种利用多尺度去噪得分匹配的能量模型 (Energy-Based Model, EBM)，并利用多噪声级别的数据进行训练。该模型在高维数据的样本合成和密度估计方面取得了与 GAN 相当的性能，并在图像修复任务中表现良好。
energy-based modelsscore matchingdata denoisingsample synthesishigh dimensional data
发现论文，激发创造
  • 矩匹配去噪 Gibbs 抽样

    在能量模型（EBMs）中，我们提出了一种有效的采样框架：带有矩匹配的（伪）Gibbs 采样，以便从经过 Denoising Score Matching （DSM）训练的 “嘈杂” 模型中有效采样。与相关方法相比，探讨了我们方法的优点，并展示了如何扩展此方法以适用高维度数据集。

    May, 2023

  • 双层评分匹配用于学习基于能量的潜变量模型

    本文提出了一种称为 BiSM 的方法，通过将 Score matching 作为双层优化问题重新定义，引入变分后验概率来优化修改后的 SM 目标函数，并且通过优化变分后验概率来拟合真实后验概率，从而可有效学习具有一般结构的能量基于隐变量的模型，在通过梯度展开实现的随机优化算法的辅助下，BiSM 可以用于生成自然图像的复杂 EBLVM。

    Oct, 2020

  • 训练能量基模型的方法

    这篇论文介绍了基于能量的模型（EBM）及其训练方法，包括最大似然训练法和 MCMC 自由法，同时介绍了 SM 和 NCE 等方法并强调它们三者之间的理论联系。

    Jan, 2021

  • 增强结构化分布学习的非线性降噪得分匹配

    提出了一种新颖的训练基于分数的生成模型的方法，通过非线性加噪动力学改进结构化分布的学习，从而使其更好地适应数据，在数据预处理步骤中获取结构并引入了两种方法解决非线性动力学训练带来的挑战，展示了该方法在几个示例上的有效性。

    May, 2024

  • 通过扩散恢复似然学习能量相关模型

    本文提出了一种基于扩散概率模型的能量模型训练和采样方法，其将数据集分成一系列噪声水平并在其上训练每个 EBM，优化回收概率而非边缘概率的方式为此提供了一个简便的方法，并在多个图像数据集及 CIFAR-10 上实现了高保真采样。

    Dec, 2020

  • 通过扩散过程改进敌对能量模型

    通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

    Mar, 2024

  • 基于条件分数的数据生成的去噪似然评分匹配

    通过 Denoising Likelihood Score Matching（DLSM）损失函数的训练，我们可以解决已有条件分数数据生成方法中分类器训练目标会导致分数不匹配的问题，从而更准确地建模条件分数并缓解这个问题。在 Cifar-10 和 Cifar-100 基准测试中，实验结果表明提议的方法在多个关键评估指标上优于以前的方法。

    Mar, 2022

  • 基于评分的生成模型学习具有约束混合的流形结构

    通过线性逼近和本地特征向量生成的子空间，调查经过训练的评分模型 (linear approximations and subspaces spanned by local feature vectors)，通过低维流形上支持的数据分布支持的得分模型 (score-based generative models) 学习数据分布是如何学习的。

    Nov, 2023

  • 自适应流抽样平衡训练能量函数模型

    本研究提出一种新的最大似然训练算法，使用正规化流（NF）来提高能量基模型（EBMs）的采样效率及精度。

    Jun, 2023

  • 深度能量估计网络

    本研究提出了一种基于得分匹配的层次框架的方法，用于建立深度能量估计网络（DEEN），来解决高维数据中的密度估计问题，并成功地通过学习能量和得分函数及单步去噪实现了对复杂数据的处理。

    May, 2018