能量基语言建模与 Metropolis-Hastings 抽样器相结合可实现更高效和准确的文本生成，通过迭代提示大型语言模型，允许在每个步骤中对整个序列进行重写，从而确定生成长度和提高下游性能。

Dec, 2023

使用似然函数关于离散变量的梯度来提议更新，在一些复杂的模型上，我们的采样方法包括 Ising 模型、Potts 模型、受限玻尔兹曼机和分步隐马尔可夫模型等方面表现出优异的性能，并且有效提升以往在高维离散数据处理方面经常使用的变分自编码器和现有基于能量模型的方法的性能。同时我们证明，该方法是在局部更新的抽样器中几乎是最优的。

Feb, 2021

本论文提出了一种利用生成对抗网络（GAN）和基于深度神经网络的生成模型来代替 MCMC 模型的方法，通过训练这种模型生成的采样分布近似匹配待训练的能量函数。

Jun, 2016

本文提出一种名为 ColdGANs 的综合探索策略的 GAN 框架，用于解决基于 Maximum Likelihood Estimation 培训的文本生成算法的局限性，并展示了 ColdGANs 相比于其他 RL 算法以及 MLE 在三个文本生成任务中的效果更好。

Jun, 2020

本文提出了一种从 MLMs 中推导出能量参数，并利用 Metropolis-Hastings Monte Carlo 算法开发了可处理的采样方案，用于无限制的生成和有条件的生成任务，证明了所提出参数化的有效性，以及我们的方法生成的样本比其他最近提出的非定向生成方法生成的更高质量。

Jun, 2021

该论文探讨了从预先训练的语言模型中受约束地生成文本的问题，并介绍了一种名为 MuCoLa 的采样过程，通过组合语言模型的对数可能性与任意（可微分）约束，以及使用 Langevin Dynamics 定义的马尔科夫链来生成文本。结果显示，MuCoLa 在避免有害信息、情感控制和关键词引导生成等任务中都获得了显著的性能提升。

May, 2022

本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗（MCMC）提议分布，应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数，并证明相比传统自适应 MCMC 方法，该方法带有更高的性能；并应用于多元随机步长 Metropolis 和 Metropolis-adjusted Langevin 提议与完整协方差矩阵，并证实该方法在 MCMC 算法中表现优异，包括哈密顿蒙特卡罗方案。

Nov, 2019

本文提出了一种名为 Mix and Match LM 的生成模型框架，该框架使用全局评分的方式结合预训练模型来实现生成文本的可控性，同时采用 Metropolis-Hastings 采样算法进行采样，取得了在多项测试领域中优于其他最新方法的表现。

Mar, 2022

微正则梯度下降是一种用于高维分布高效采样的能量模型采样过程，通过使用梯度下降从高熵分布（如高斯白噪声）将样本传输到低能量区域。我们将这个模型放置在归一化流框架中，展示它常常通过在下降过程中损失了不必要的熵而过拟合。为了解决这个问题，我们提出了一种多场微正则梯度下降法，同时采样多个弱耦合数据点，以更好地控制熵损失，并在可能度拟合方面几乎不付出代价。我们在金融时间序列的背景下研究了这些模型，展示了在合成和真实数据上的改进。

Mar, 2024

本文提出一种基于分布式方法的控制文本生成方案，旨在在单个形式框架中指定 “点对点” 和 “分布式” 约束，实现与初始 LM 分布 KL 散度最小的目标 LM 的训练。同时，基于 Energy-Based Model 表示确定最优目标分布。该方案通过自适应分布式模型改进了 Policy Gradient. 作者在实验中表明，该方案在满足约束方面较其它方法具有优势。实验结果还表明该方案应对了语言模型中 “偏见” 的问题。

Dec, 2020