我们研究了一种基于对抗训练的学习能量模型（EBMs）的新方法。我们发现二元对抗训练（AT）学习了一种特殊类型的能量函数，它建模了数据分布的支持，学习过程与基于 MCMC 的 EBMs 最大似然学习密切相关。我们进一步提出了用于 AT 的改进技术，并证明了这种新方法能够生成多样化和逼真的图像。除了具有与显式 EBMs 相比有竞争力的图像生成性能外，该研究方法易于稳定训练，特别适用于图像翻译任务，并展现了强大的对抗鲁棒性。我们的结果表明，AT 方法对于生成建模是可行的，suggesting，AT 是学习 EBMs 的竞争替代方法。

Dec, 2020

本篇论文研究了如何使用预训练的自回归语言模型生成负样本来训练基于能量的模型（EBM）来区分真实文本和自动生成的文本，并探讨了 EBM 的泛化能力及其对负样本产生的影响。

Jun, 2019

通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

Mar, 2024

本研究连接了利用对抗训练 (adversarial training，AT) 训练的鲁棒判别器和基于能量的生成模型 (Energy-based Models，EBM)，通过分解判别器的损失并展示判别模型也能意识到输入数据密度实现。研究发现，令人惊讶的是，输入空间中未定向攻击点非常可能在判别分类器中隐藏的生成模型里 —— 即 EBM 中的能量非常低。我们展示了两个证据：未定向攻击比自然数据甚至更可能出现，当攻击强度增强时，它们的可能性也会增加。这使得我们能够轻松检测它们，并设计了一种名为 High-Energy PGD 的新型攻击方法，它能欺骗分类器但具有与数据集相似的能量。

Apr, 2023

使用对抗训练机制可以更好地规范神经语言模型中的过度拟合问题，增加嵌入向量的多样性并提高在机器翻译领域的性能。

Jun, 2019

本文探讨了基于序列级别的未标准化的能量模型应用于文本生成，通过在预训练的局部标准化语言模型的残差范围内工作，结合噪声对比估计来训练，同时利用 BERT 和 RoBERTa 等预先训练的双向上下文表示，结果表明在二个大型语言建模数据集上，残差 EBM 相对于局部标准化基线具有更低的困惑度，并且通过重要性抽样生成的效率比基线模型更高，并且在人类评估中具有更高的生成质量。

Apr, 2020

本论文研究了使用 Markov Chain Monte Carlo 采样和能量模型对预训练分类器进行防御的方法，其目的是从原始输入中删除对抗性信号以进行准确的长期预测，并在 Cifar-10、SVHN 和 Cifar-100 三个数据集上实现了先进的防御。

May, 2020

本文提出了两种新的对抗训练方法：一种是在表示空间中缩小原始样本和其对抗样本的距离，同时扩大其与不同标记样本的距离；另一种是将模型迫使在对抗性表示下重构原始样本，实验证明这两种方法在各种文本分类数据集上优于强基线。分析实验证明，我们的方法可以有效提高模型的抗打击能力，同时不显著影响输入句子的语义表示。

Sep, 2021

本文提出了一种新颖的基于去噪分数匹配的敌对净化方法，该方法使用少数步骤快速净化被攻击的图像，并介绍了一种有效的随机净化方案以增强其鲁棒性。

Jun, 2021

本文研究了训练基于能量的模型（EBMs）的最大似然估计方法，通过确定性梯度下降 ODE 解法替换 Langevin 动力学以了解该训练过程，并将动力学视为生成器模型并通过优化由能量确定生成器的梯度定义的评论家来连接 GAN，因此提出了自对抗损失。研究表明，EBM 训练实际上是一种自对抗性的过程，而不是最大似然估计。

Feb, 2021