通过在生成模型的潜在空间中学习基于能量的模型（EBM），从而使 EBM 成为先验模型，该模型建立在生成模型的自上而下网络之上。通过最大似然联合学习，可以同时学习潜在空间的 EBM 和自上而下网络，并涉及从潜在向量的先验和后验分布中进行短程 MCMC 采样。由于潜在空间的低维度和自上而下网络的表现力，简单的潜在空间 EBM 可以有效地捕捉数据中的规律，并且潜在空间中的 MCMC 采样效率高且混合良好，表现出良好的图像和文本生成和异常检测能力。

Jun, 2020

通过训练基于能量的世界模型，我们引入了一种能够模拟人类认知的方法，其通过预测上下文和未来状态的兼容性来解决传统的自回归模型的局限性，并展示了在计算机视觉和自然语言处理中的潜在应用。

Jun, 2024

该论文提出了一种新的基于扩散模型与潜空间 EBM 的符号学方法，该方法结合了基于几何聚类的正则化与信息瓶颈，从而在解释性文本建模方面表现出比强大对手更优异的性能。

Jun, 2022

能量模型（EBM）是一种重要的概率模型，也被称为随机场和无向图模型。EBM 是非标准化的，与其他流行的自标准化概率模型（如隐马尔可夫模型（HMMs）、自回归模型、生成对抗网络（GANs）和变分自动编码器（VAEs））截然不同。近年来，由于在理论和算法方面取得了重大进展，EBM 不仅受到核心机器学习领域的越来越多的关注，而且还受到了语音、视觉、自然语言处理（NLP）等应用领域的关注。语音和语言的序列性质也带来了特殊的挑战，并需要与处理固定维度数据（如图像）有所不同的处理方法。因此，本文的目的是系统介绍能量基模型，包括算法进展和在语音和语言处理中的应用。首先，介绍了 EBM 的基础知识，包括经典模型、最近由神经网络参数化的模型、采样方法以及从经典学习算法到最先进算法的各种学习方法。然后，介绍了 EBM 在三种不同场景下的应用，即建模边际、条件和联合分布。1）用于语言建模的序列数据的 EBM 应用，其中主要关注的是序列本身的边际分布；2）用于建模给定观测序列条件分布的 EBM，在语音识别、序列标注和文本生成方面有应用；3）用于建模观测序列和目标序列的联合分布的 EBM 及其在半监督学习和校准自然语言理解方面的应用。

Mar, 2024

通过引入 Large Language Models (LLMs)，本研究探究了使用 LLMs 改进行人轨迹预测任务的可能性，通过诱导运动线索生成物体过去 / 观察到的轨迹中的运动线索，并利用混合高斯聚类未来轨迹中的运动线索。我们的方法采用基于 Transformer 的体系结构，包括运动编码器以建模运动模式和社交解码器以捕捉行人之间的社交互动，展示了我们的方法在流行的行人轨迹预测基准数据集 ETH-UCY 和 SDD 上的有效性，并进行了多个消融实验来验证我们的方法。

Mar, 2024

本研究聚焦于将能量模型（EBM）作为动作优化的指导先验进行集成的问题，并研究了在学习 EBMs 时包括额外的正则化器的益处以及多种情况下 EBM 能够集成到运动优化中的表现及性能评估。

Apr, 2022

本文探讨了基于序列级别的未标准化的能量模型应用于文本生成，通过在预训练的局部标准化语言模型的残差范围内工作，结合噪声对比估计来训练，同时利用 BERT 和 RoBERTa 等预先训练的双向上下文表示，结果表明在二个大型语言建模数据集上，残差 EBM 相对于局部标准化基线具有更低的困惑度，并且通过重要性抽样生成的效率比基线模型更高，并且在人类评估中具有更高的生成质量。

Apr, 2020

提出了一种新的贝叶斯神经随机微分方程模型 BNSP-SFM，将行为 SDE 模型与贝叶斯神经网络（BNNs）相结合，展示出了卓越的预测能力，并提供了行为和观察的可量化不确定性强的解释能力，实验证明 BNSP-SFM 的预测准确性比 11 种现有方法提高了 50％，且对环境和人群密度等变化的适应能力较强。

Jul, 2023

使用可学习的图像提示将预训练的人体轨迹预测器的输入增强，从而使预测器能够从极少量的新数据中推断出部署场景的趋势，从而解决特定场景下的人体轨迹预测问题。

Dec, 2023

本文提出了一种应用社交条件变分自动编码器（SocialCVAE）来预测行人轨迹的方法，该方法利用条件变分自动编码器（CVAE）来探索人类运动决策中的行为不确定性，通过使用基于能量的相互作用模型生成交互能量图，提高了行人轨迹预测的准确性。

Feb, 2024