持续训练的扩散辅助能量模型

Apr, 2023

Persistently Trained, Diffusion-assisted Energy-based Models

Xinwei Zhang, Zhiqiang Tan, Zhijian Ou

TL;DR本文介绍了通过引入扩散数据和使用增强采样算法，通过持续对比散度学习一种联合的能量基模型，称为扩散辅助 - EBM，来实现复杂的，多模态分布的准确采样和密度估计，并进行了 2D 和图像实验，证明了持续训练的 EBMs 可以同时实现长时间稳定性，后训练图像生成和卓越的异常检测。

Abstract

Maximum likelihood (ML) learning for energy-based models (EBMs) is challenging, partly due to non-convergence of Markov chain Monte Carlo.Several variations of ML learning have been proposed, but existing methods all fail to achieve both →

maximum likelihood learning energy-based models diffusion data persistent training post-training image generation

发现论文，激发创造

通过扩散恢复似然学习能量相关模型

本文提出了一种基于扩散概率模型的能量模型训练和采样方法，其将数据集分成一系列噪声水平并在其上训练每个 EBM，优化回收概率而非边缘概率的方式为此提供了一个简便的方法，并在多个图像数据集及 CIFAR-10 上实现了高保真采样。

Dec, 2020

基于能量的连续学习模型

本文介绍了基于能量的模型（EBMs）作为处理连续学习问题的一种有前途的模型，通过改变底层训练目标以避免对先前学习信息的干扰，提出了简单、高效且性能优良的 EBMs 版本，从多个基准测试中的表现来看，超越了基准方法。此外，本文还提出了基于对比散度的训练目标，可以与其他持续学习方法相结合，进一步提高性能。最后，本文还展示了 EBMs 适用于数据分布在没有显式任务的情况下发生改变这一更普遍的连续学习设置，这为未来的连续学习方法提供了有用的构建模块。

Nov, 2020

用扩散对比散度训练能量模型

本文提出了一种更加高效的 Diffusion Contrastive Divergence 算法，将其作为 Contrastive Divergence 算法的一种特殊实例，并在合成数据建模、图片去噪和生成等方面进行了实验，结果表明新算法在计算效率和生成性能方面都优于传统算法。

Jul, 2023

通过双 MCMC 教学学习基于能量的模型

本文研究了基于能量的模型（EBM）的基本学习问题，通过最大似然估计（MLE）和生成模型的联合训练来提高 EBM 的学习效果。

Dec, 2023

通过扩散过程改进敌对能量模型

通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

Mar, 2024

能量基模型中的隐式生成和泛化

本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

Mar, 2019

非生成能量模型

本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

Apr, 2023

训练能量基模型的方法

这篇论文介绍了基于能量的模型（EBM）及其训练方法，包括最大似然训练法和 MCMC 自由法，同时介绍了 SM 和 NCE 等方法并强调它们三者之间的理论联系。

Jan, 2021

学习潜在空间的分层 EBM 扩散模型

这项工作研究了基于能量的先验模型和多层生成器模型的学习问题。我们使用扩散概率方案来缓解能量模型的采样负担，并促进能量模型的学习，在各种具有挑战性的任务中展示出卓越的性能。

May, 2024

通过合作扩散恢复似然学习能量模型

我们提出了协同扩散恢复似然 (CDRL) 方法，该方法通过在逐渐噪声增加的数据版本上定义一系列的能量基模型 (EBM)，并配对每个 EBM 的初始化模型，以从 EBMs 学习并采样，从而显著提高了样本质量。在 CIFAR-10 和 ImageNet 32x32 上，与现有的 EBM 方法相比，我们的方法在 FID 得分上有明显提高，并且比 DRL 快 2 倍。此外，我们还将我们的方法扩展到组合生成和图像修复任务，并展示了 CDRL 在无分类器指导的条件生成中的兼容性，实现了与扩散模型相似的样本质量和样本多样性的权衡。

Sep, 2023