本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

Mar, 2019

能量模型（EBM）是一种重要的概率模型，也被称为随机场和无向图模型。EBM 是非标准化的，与其他流行的自标准化概率模型（如隐马尔可夫模型（HMMs）、自回归模型、生成对抗网络（GANs）和变分自动编码器（VAEs））截然不同。近年来，由于在理论和算法方面取得了重大进展，EBM 不仅受到核心机器学习领域的越来越多的关注，而且还受到了语音、视觉、自然语言处理（NLP）等应用领域的关注。语音和语言的序列性质也带来了特殊的挑战，并需要与处理固定维度数据（如图像）有所不同的处理方法。因此，本文的目的是系统介绍能量基模型，包括算法进展和在语音和语言处理中的应用。首先，介绍了 EBM 的基础知识，包括经典模型、最近由神经网络参数化的模型、采样方法以及从经典学习算法到最先进算法的各种学习方法。然后，介绍了 EBM 在三种不同场景下的应用，即建模边际、条件和联合分布。1）用于语言建模的序列数据的 EBM 应用，其中主要关注的是序列本身的边际分布；2）用于建模给定观测序列条件分布的 EBM，在语音识别、序列标注和文本生成方面有应用；3）用于建模观测序列和目标序列的联合分布的 EBM 及其在半监督学习和校准自然语言理解方面的应用。

Mar, 2024

这项工作研究了基于能量的先验模型和多层生成器模型的学习问题。我们使用扩散概率方案来缓解能量模型的采样负担，并促进能量模型的学习，在各种具有挑战性的任务中展示出卓越的性能。

May, 2024

通过在生成模型的潜在空间中学习基于能量的模型（EBM），从而使 EBM 成为先验模型，该模型建立在生成模型的自上而下网络之上。通过最大似然联合学习，可以同时学习潜在空间的 EBM 和自上而下网络，并涉及从潜在向量的先验和后验分布中进行短程 MCMC 采样。由于潜在空间的低维度和自上而下网络的表现力，简单的潜在空间 EBM 可以有效地捕捉数据中的规律，并且潜在空间中的 MCMC 采样效率高且混合良好，表现出良好的图像和文本生成和异常检测能力。

Jun, 2020

本文研究通过最大化随机抽样分布的似然函数从而获得一类能量启发式模型，这些模型包含了学习能量函数并提供精确样本和可计算的对数似然下界。同时，这些模型对比了不同的随机抽样算法并提供了对噪声对比估计和对比预测编码排名的新见解。

Oct, 2019

本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

Apr, 2023

本文研究多层生成模型在学习分层表示中的基本问题，并提出了一种联合潜在空间的基于能量的模型，通过多层潜在变量实现了有效的分层表示学习，并对数据分布建模。

Oct, 2023

在具有相互依赖数据的领域中，如图形数据，量化图神经网络 (GNN) 的认知不确定性是具有挑战性的，因为不确定性可以在不同的结构尺度上产生。我们提出了 GEBM，一种能量模型（EBM），通过聚合来自图扩散引起的不同结构级别上的能量，提供高质量的不确定性估计。与基于逻辑的 EBM 不同，我们通过正则化能量函数来在数据空间中引入可积密度。我们引入了我们的 EBM 的证据解释，极大地提高了 GNN 的预测鲁棒性。我们的框架是一个简单有效的事后方法，适用于任何对各种分布转移敏感的预训练 GNN。在 7 种异常类型中，我们在 6 种上实现了最佳的内部分布和外部分布数据分离，并在所有数据集上具有最佳的平均排名。

Jun, 2024

本文介绍了广义能量模型（GEBM）的产生式建模方法，指出了其在图像生成任务和密度建模任务中的应用和比 GANS 更好的性能表现。

Mar, 2020

本文提出了一种双向边界的 Energy-based model 对数似然的优化方法，并且使用 Jacobi-determinant 的新估计器来评估这种边界，从而提高密度估计和样本生成的质量。

Nov, 2021