Nov, 2020

通过辅助变量的局部探索学习离散能量模型

PDF
TL;DR本文提出一种名为 ALOE 的算法，该算法可以学习用于离散结构数据的有条件和无条件能量模型，其参数梯度使用模拟局部搜索的学习取样器进行估计，并且通过一种新的变分幂迭代形式有效地训练能量函数和取样器。实验结果表明，在软件测试等应用领域中，学习局部搜索可以取得显著的改进。
discrete structuresautoregressive modelsenergy-based modelsaloepower iteration
发现论文，激发创造
  • 使用能量偏差训练离散能量模型

    本文介绍了通过能量差异（ED）这种新型对比损失函数训练离散能量模型（EBMs）的方法，并研究了基于伯努利噪声、确定性变换和邻域结构的三种扰动过程对其效果的影响。

    Jul, 2023

  • 基于能源的模型在语音和语言处理中的应用

    能量模型（EBM）是一种重要的概率模型，也被称为随机场和无向图模型。EBM 是非标准化的，与其他流行的自标准化概率模型（如隐马尔可夫模型（HMMs）、自回归模型、生成对抗网络（GANs）和变分自动编码器（VAEs））截然不同。近年来，由于在理论和算法方面取得了重大进展，EBM 不仅受到核心机器学习领域的越来越多的关注，而且还受到了语音、视觉、自然语言处理（NLP）等应用领域的关注。语音和语言的序列性质也带来了特殊的挑战，并需要与处理固定维度数据（如图像）有所不同的处理方法。因此，本文的目的是系统介绍能量基模型，包括算法进展和在语音和语言处理中的应用。首先，介绍了 EBM 的基础知识，包括经典模型、最近由神经网络参数化的模型、采样方法以及从经典学习算法到最先进算法的各种学习方法。然后，介绍了 EBM 在三种不同场景下的应用，即建模边际、条件和联合分布。1）用于语言建模的序列数据的 EBM 应用，其中主要关注的是序列本身的边际分布；2）用于建模给定观测序列条件分布的 EBM，在语音识别、序列标注和文本生成方面有应用；3）用于建模观测序列和目标序列的联合分布的 EBM 及其在半监督学习和校准自然语言理解方面的应用。

    Mar, 2024

  • 能量启发模型：采样引导分布学习

    本文研究通过最大化随机抽样分布的似然函数从而获得一类能量启发式模型，这些模型包含了学习能量函数并提供精确样本和可计算的对数似然下界。同时，这些模型对比了不同的随机抽样算法并提供了对噪声对比估计和对比预测编码排名的新见解。

    Oct, 2019

  • 能量模型中特征多样性

    本文研究能量学习及能量模型，重点关注特征集的多样性和冗余性的影响，利用 PAC 理论推导出各种上下文中的泛化界限，并表明减少特征集的冗余性可以提高模型的性能。

    Jun, 2023

  • 使用变分自编码器作为分摊采样器学习基于能量的模型

    通过学习用于初始化 MCMC 的变分自编码器，实现了宏观的 EBM 采样，并将其与 EBM 和变分自编码器一起使用以生成样本和解决条件生成任务。

    Dec, 2020

  • 基于能量的连续学习模型

    本文介绍了基于能量的模型（EBMs）作为处理连续学习问题的一种有前途的模型，通过改变底层训练目标以避免对先前学习信息的干扰，提出了简单、高效且性能优良的 EBMs 版本，从多个基准测试中的表现来看，超越了基准方法。此外，本文还提出了基于对比散度的训练目标，可以与其他持续学习方法相结合，进一步提高性能。最后，本文还展示了 EBMs 适用于数据分布在没有显式任务的情况下发生改变这一更普遍的连续学习设置，这为未来的连续学习方法提供了有用的构建模块。

    Nov, 2020

  • 我不需要 MCMC：分摊采样用于能量模型的快速稳定训练

    本文提出了一种简单的方法来训练基于能量的模型（EBMs），并将其应用于半监督分类，方法利用熵正则化的生成器来分摊在 EBM 训练中通常使用的 MCMC 采样，这使得实验结果更快、稳定和可行。

    Oct, 2020

  • 深度结构化能量模型在异常检测中的应用

    本研究提出了深度结构化能量模型，其中能量函数是具有结构的确定性深度神经网络的输出，该模型可以应用于不同类型数据的结构，通过训练算法提高异常检测准确性。

    May, 2016

  • 利用 Jarzynski 等式高效训练基于能量的模型

    本文介绍了一种基于 Jarzynski 平等和序贯蒙特卡洛抽样工具的改进型未校正 Langevin 算法来更有效地计算交叉熵的梯度，避免了标准对比散度算法中存在的不可控逼近问题，在高斯混合分布和 MNIST 数据集上的实验结果均显示该方法优于对比散度算法。

    May, 2023

  • 基于能量的模型指南：与其他生成模型、采样和统计物理之间的全面评述

    能量模型（EBMs）已成为生成模型领域中一个强大的框架，通过与统计力学的原理密切契合，提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解，揭示它们与其他生成模型（如 GAN、VAEs 和正规化流）的联系。我们探讨了对 EBMs 至关重要的采样技术，包括 Markov Chain Monte Carlo（MCMC）方法，并将 EBM 概念与统计力学进行了对比，强调了能量函数和配分函数的重要性。此外，我们深入研究了 EBMs 的最新训练方法，涵盖了最近的进展及其对提高模型性能和效率的影响。本综述旨在阐明这些模型之间通常复杂的相互关系，这可能是因为从事该领域研究的各个学术界群体差异较大所导致的挑战。

    Jun, 2024