Jan, 2024

基于平衡传播训练的能量模型的鲁棒性如何？

PDF
TL;DR通过对 CIFAR-10 和 CIFAR-100 数据集的实验，我们的工作首次探索了 EBMs 对自然损坏和对抗攻击的稳健性，结果表明 EBMs 在白盒攻击、黑盒攻击和自然扰动方面的稳健性与经过对抗训练的 DNNs 相当，而无需牺牲清晰度准确性或使用额外的训练技术。
deep neural networksadversarial perturbationsadversarial trainingenergy-based modelsrobustness
发现论文，激发创造
  • 探究稳健和生成模型之间的联系

    本研究连接了利用对抗训练 (adversarial training，AT) 训练的鲁棒判别器和基于能量的生成模型 (Energy-based Models，EBM)，通过分解判别器的损失并展示判别模型也能意识到输入数据密度实现。研究发现，令人惊讶的是，输入空间中未定向攻击点非常可能在判别分类器中隐藏的生成模型里 —— 即 EBM 中的能量非常低。我们展示了两个证据：未定向攻击比自然数据甚至更可能出现，当攻击强度增强时，它们的可能性也会增加。这使得我们能够轻松检测它们，并设计了一种名为 High-Energy PGD 的新型攻击方法，它能欺骗分类器但具有与数据集相似的能量。

    Apr, 2023

  • 基于能量模型长期动态的随机安全：对抗防御

    本论文研究了使用 Markov Chain Monte Carlo 采样和能量模型对预训练分类器进行防御的方法，其目的是从原始输入中删除对抗性信号以进行准确的长期预测，并在 Cifar-10、SVHN 和 Cifar-100 三个数据集上实现了先进的防御。

    May, 2020

  • 非生成能量模型

    本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

    Apr, 2023

  • 通过扩散过程改进敌对能量模型

    通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

    Mar, 2024

  • 能量基模型中的隐式生成和泛化

    本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

    Mar, 2019

  • 再探能量模型作为策略：排序噪声对比估计和插值能量模型

    通过引入排名噪声对比估计（R-NCE）、可学习的负采样器和非对抗联合训练等关键因素，我们证明了高维连续空间中能量模型在训练时并不是不切实际的，我们的训练算法使能量模型作为策略在多模态路径规划和有接触力量推动等难度较高的基准测试中与扩散模型和其他最先进方法相竞争甚至表现更好。

    Sep, 2023

  • 能量模型回归训练方法

    前沿研究表明应用基于能量的模型于计算机视觉领域的回归任务，特别是物体检测和视觉跟踪任务，可以实现最先进的性能，但其训练是具有挑战性的。本文整合六种流行方法并提出一种扩展的噪声对比估计方法来解决训练问题，并在五个数据集上实现了最新成果。

    May, 2020

  • 基于能量的连续学习模型

    本文介绍了基于能量的模型（EBMs）作为处理连续学习问题的一种有前途的模型，通过改变底层训练目标以避免对先前学习信息的干扰，提出了简单、高效且性能优良的 EBMs 版本，从多个基准测试中的表现来看，超越了基准方法。此外，本文还提出了基于对比散度的训练目标，可以与其他持续学习方法相结合，进一步提高性能。最后，本文还展示了 EBMs 适用于数据分布在没有显式任务的情况下发生改变这一更普遍的连续学习设置，这为未来的连续学习方法提供了有用的构建模块。

    Nov, 2020

  • 持续训练的扩散辅助能量模型

    本文介绍了通过引入扩散数据和使用增强采样算法，通过持续对比散度学习一种联合的能量基模型，称为扩散辅助 - EBM，来实现复杂的，多模态分布的准确采样和密度估计，并进行了 2D 和图像实验，证明了持续训练的 EBMs 可以同时实现长时间稳定性，后训练图像生成和卓越的异常检测。

    Apr, 2023

  • 使用对抗性训练学习基于能量的模型

    我们研究了一种基于对抗训练的学习能量模型（EBMs）的新方法。我们发现二元对抗训练（AT）学习了一种特殊类型的能量函数，它建模了数据分布的支持，学习过程与基于 MCMC 的 EBMs 最大似然学习密切相关。我们进一步提出了用于 AT 的改进技术，并证明了这种新方法能够生成多样化和逼真的图像。除了具有与显式 EBMs 相比有竞争力的图像生成性能外，该研究方法易于稳定训练，特别适用于图像翻译任务，并展现了强大的对抗鲁棒性。我们的结果表明，AT 方法对于生成建模是可行的，suggesting，AT 是学习 EBMs 的竞争替代方法。

    Dec, 2020