提出了一种针对文本的对抗训练策略，通过扰动自回归模型生成的文本来生成负样本，并证明该策略可以显著提高离散能量基模型的生成质量。

Nov, 2023

本研究连接了利用对抗训练 (adversarial training，AT) 训练的鲁棒判别器和基于能量的生成模型 (Energy-based Models，EBM)，通过分解判别器的损失并展示判别模型也能意识到输入数据密度实现。研究发现，令人惊讶的是，输入空间中未定向攻击点非常可能在判别分类器中隐藏的生成模型里 —— 即 EBM 中的能量非常低。我们展示了两个证据：未定向攻击比自然数据甚至更可能出现，当攻击强度增强时，它们的可能性也会增加。这使得我们能够轻松检测它们，并设计了一种名为 High-Energy PGD 的新型攻击方法，它能欺骗分类器但具有与数据集相似的能量。

Apr, 2023

通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

Mar, 2024

该研究通过开发一种统一的概率框架 CEM，提供了关于 Adversarial Training（AT）的概率描述，并将其扩展到了无监督学习场景，提出了一种有原则的方法来开发对抗性学习和采样方法，实验表明，我们得到的采样方法提高了监督和无监督学习的样本质量。

Mar, 2022

本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

Mar, 2019

本论文研究了使用 Markov Chain Monte Carlo 采样和能量模型对预训练分类器进行防御的方法，其目的是从原始输入中删除对抗性信号以进行准确的长期预测，并在 Cifar-10、SVHN 和 Cifar-100 三个数据集上实现了先进的防御。

May, 2020

本文研究了训练基于能量的模型（EBMs）的最大似然估计方法，通过确定性梯度下降 ODE 解法替换 Langevin 动力学以了解该训练过程，并将动力学视为生成器模型并通过优化由能量确定生成器的梯度定义的评论家来连接 GAN，因此提出了自对抗损失。研究表明，EBM 训练实际上是一种自对抗性的过程，而不是最大似然估计。

Feb, 2021

本文介绍了通过引入扩散数据和使用增强采样算法，通过持续对比散度学习一种联合的能量基模型，称为扩散辅助 - EBM，来实现复杂的，多模态分布的准确采样和密度估计，并进行了 2D 和图像实验，证明了持续训练的 EBMs 可以同时实现长时间稳定性，后训练图像生成和卓越的异常检测。

Apr, 2023

本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

Apr, 2023

本文研究了基于能量的模型（EBM）的基本学习问题，通过最大似然估计（MLE）和生成模型的联合训练来提高 EBM 的学习效果。

Dec, 2023