本文介绍了一种基于扩散的摊销方法来解决长期 MCMC 采样问题，并基于此开发了一种新的学习算法，用于隐空间 EBM。实验证明，与强对手相比，我们的方法在几个图像建模基准数据集上具有优秀的性能。

Oct, 2023

通过在生成模型的潜在空间中学习基于能量的模型（EBM），从而使 EBM 成为先验模型，该模型建立在生成模型的自上而下网络之上。通过最大似然联合学习，可以同时学习潜在空间的 EBM 和自上而下网络，并涉及从潜在向量的先验和后验分布中进行短程 MCMC 采样。由于潜在空间的低维度和自上而下网络的表现力，简单的潜在空间 EBM 可以有效地捕捉数据中的规律，并且潜在空间中的 MCMC 采样效率高且混合良好，表现出良好的图像和文本生成和异常检测能力。

Jun, 2020

这项工作研究了基于能量的先验模型和多层生成器模型的学习问题。我们使用扩散概率方案来缓解能量模型的采样负担，并促进能量模型的学习，在各种具有挑战性的任务中展示出卓越的性能。

May, 2024

本文研究多层生成模型在学习分层表示中的基本问题，并提出了一种联合潜在空间的基于能量的模型，通过多层潜在变量实现了有效的分层表示学习，并对数据分布建模。

Oct, 2023

本文提出了一种基于能量的模型 (EBM) 方法，通过在所有层的潜在变量上建立联合潜在空间 EBM 先验模型，以层内能量项捕捉每一层的内部上下文关系，跨不同层的潜在变量则通过联合校正。并提出联合训练方案 (最大似然估计 MLE 和基于推理模型的变分训练方案)，使得学到的模型可以在生成高质量图像和捕捉分层特征方面具有表现力和更好的异常检测效果。

Jun, 2023

本文提出了一种基于对比学习的框架，通过引入对比潜变量来改进能量基模型的训练，设计一种新类的潜变量 EBMs 实现数据联合密度估计和对比潜变量的联合训练，实验结果表明该方案比现有的 EBM 方法（如变分自动编码器或扩散技术）具有更低的 FID 分数，训练速度更快、内存效率更高，并展示了该潜变量 EBMs 的条件和组合生成能力。

Mar, 2023

能量模型（EBM）是一种重要的概率模型，也被称为随机场和无向图模型。EBM 是非标准化的，与其他流行的自标准化概率模型（如隐马尔可夫模型（HMMs）、自回归模型、生成对抗网络（GANs）和变分自动编码器（VAEs））截然不同。近年来，由于在理论和算法方面取得了重大进展，EBM 不仅受到核心机器学习领域的越来越多的关注，而且还受到了语音、视觉、自然语言处理（NLP）等应用领域的关注。语音和语言的序列性质也带来了特殊的挑战，并需要与处理固定维度数据（如图像）有所不同的处理方法。因此，本文的目的是系统介绍能量基模型，包括算法进展和在语音和语言处理中的应用。首先，介绍了 EBM 的基础知识，包括经典模型、最近由神经网络参数化的模型、采样方法以及从经典学习算法到最先进算法的各种学习方法。然后，介绍了 EBM 在三种不同场景下的应用，即建模边际、条件和联合分布。1）用于语言建模的序列数据的 EBM 应用，其中主要关注的是序列本身的边际分布；2）用于建模给定观测序列条件分布的 EBM，在语音识别、序列标注和文本生成方面有应用；3）用于建模观测序列和目标序列的联合分布的 EBM 及其在半监督学习和校准自然语言理解方面的应用。

Mar, 2024

本文探讨了基于序列级别的未标准化的能量模型应用于文本生成，通过在预训练的局部标准化语言模型的残差范围内工作，结合噪声对比估计来训练，同时利用 BERT 和 RoBERTa 等预先训练的双向上下文表示，结果表明在二个大型语言建模数据集上，残差 EBM 相对于局部标准化基线具有更低的困惑度，并且通过重要性抽样生成的效率比基线模型更高，并且在人类评估中具有更高的生成质量。

Apr, 2020

本文介绍了通过引入扩散数据和使用增强采样算法，通过持续对比散度学习一种联合的能量基模型，称为扩散辅助 - EBM，来实现复杂的，多模态分布的准确采样和密度估计，并进行了 2D 和图像实验，证明了持续训练的 EBMs 可以同时实现长时间稳定性，后训练图像生成和卓越的异常检测。

Apr, 2023

能量模型（EBMs）已成为生成模型领域中一个强大的框架，通过与统计力学的原理密切契合，提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解，揭示它们与其他生成模型（如 GAN、VAEs 和正规化流）的联系。我们探讨了对 EBMs 至关重要的采样技术，包括 Markov Chain Monte Carlo（MCMC）方法，并将 EBM 概念与统计力学进行了对比，强调了能量函数和配分函数的重要性。此外，我们深入研究了 EBMs 的最新训练方法，涵盖了最近的进展及其对提高模型性能和效率的影响。本综述旨在阐明这些模型之间通常复杂的相互关系，这可能是因为从事该领域研究的各个学术界群体差异较大所导致的挑战。

Jun, 2024