Jun, 2024

基于能量的模型指南：与其他生成模型、采样和统计物理之间的全面评述

PDF
TL;DR能量模型（EBMs）已成为生成模型领域中一个强大的框架，通过与统计力学的原理密切契合，提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解，揭示它们与其他生成模型（如 GAN、VAEs 和正规化流）的联系。我们探讨了对 EBMs 至关重要的采样技术，包括 Markov Chain Monte Carlo（MCMC）方法，并将 EBM 概念与统计力学进行了对比，强调了能量函数和配分函数的重要性。此外，我们深入研究了 EBMs 的最新训练方法，涵盖了最近的进展及其对提高模型性能和效率的影响。本综述旨在阐明这些模型之间通常复杂的相互关系，这可能是因为从事该领域研究的各个学术界群体差异较大所导致的挑战。
发现论文，激发创造
  • 基于能源的模型在语音和语言处理中的应用

    能量模型（EBM）是一种重要的概率模型，也被称为随机场和无向图模型。EBM 是非标准化的，与其他流行的自标准化概率模型（如隐马尔可夫模型（HMMs）、自回归模型、生成对抗网络（GANs）和变分自动编码器（VAEs））截然不同。近年来，由于在理论和算法方面取得了重大进展，EBM 不仅受到核心机器学习领域的越来越多的关注，而且还受到了语音、视觉、自然语言处理（NLP）等应用领域的关注。语音和语言的序列性质也带来了特殊的挑战，并需要与处理固定维度数据（如图像）有所不同的处理方法。因此，本文的目的是系统介绍能量基模型，包括算法进展和在语音和语言处理中的应用。首先，介绍了 EBM 的基础知识，包括经典模型、最近由神经网络参数化的模型、采样方法以及从经典学习算法到最先进算法的各种学习方法。然后，介绍了 EBM 在三种不同场景下的应用，即建模边际、条件和联合分布。1）用于语言建模的序列数据的 EBM 应用，其中主要关注的是序列本身的边际分布；2）用于建模给定观测序列条件分布的 EBM，在语音识别、序列标注和文本生成方面有应用；3）用于建模观测序列和目标序列的联合分布的 EBM 及其在半监督学习和校准自然语言理解方面的应用。

    Mar, 2024

  • 能量基模型中的隐式生成和泛化

    本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

    Mar, 2019

  • 训练能量基模型的方法

    这篇论文介绍了基于能量的模型（EBM）及其训练方法，包括最大似然训练法和 MCMC 自由法，同时介绍了 SM 和 NCE 等方法并强调它们三者之间的理论联系。

    Jan, 2021

  • 通过扩散过程改进敌对能量模型

    通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

    Mar, 2024

  • 非生成能量模型

    本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

    Apr, 2023

  • 广义能量基模型

    本文介绍了广义能量模型（GEBM）的产生式建模方法，指出了其在图像生成任务和密度建模任务中的应用和比 GANS 更好的性能表现。

    Mar, 2020

  • 能量启发模型：采样引导分布学习

    本文研究通过最大化随机抽样分布的似然函数从而获得一类能量启发式模型，这些模型包含了学习能量函数并提供精确样本和可计算的对数似然下界。同时，这些模型对比了不同的随机抽样算法并提供了对噪声对比估计和对比预测编码排名的新见解。

    Oct, 2019

  • 基于能量的语音合成模型

    这篇论文描述了如何使用基于能量的模型（EBMs）通过噪声对比估计训练，并通过 Langevin Markov Chain Monte-Carlo（MCMC）进行采样，从而扩展了非自回归模型在语音合成中的应用。在 LJSpeech 数据集上的实验证明，该方法在 Tacotron 2 上取得了一定改进。

    Oct, 2023

  • 基于能量的校准变分自编码器及其无测试时间消耗特性

    本文提出了一种新颖的能量校准生成模型，该模型利用条件 EBM 来增强变分自动编码器（VAEs）的性能，针对 VAEs 在生成方向上训练不足而导致生成结果模糊的问题，以及 EBMs 需要昂贵的马尔可夫链蒙特卡罗（MCMC）采样的问题，我们引入了条件 EBM 用于训练时校准生成方向，而不需要在测试时进行采样，这样的方法使得生成模型能够根据数据和校准样本进行自适应加权的训练，从而提高了效率和效果，而不需要在推理阶段进行 MCMC 采样，我们还展示了该方法可以扩展到校准归一化流和变分后验，并提出将该方法应用于基于神经传输先验和零射图像恢复，通过广泛的实验在图像生成和零射图像恢复等各种应用中证明了该方法的有效性，我们的方法在单步非对抗式生成方面展现了最先进的性能。

    Nov, 2023

  • 可解释文本建模的潜在扩散基于能量模型

    该论文提出了一种新的基于扩散模型与潜空间 EBM 的符号学方法，该方法结合了基于几何聚类的正则化与信息瓶颈，从而在解释性文本建模方面表现出比强大对手更优异的性能。

    Jun, 2022