Apr, 2023

探究稳健和生成模型之间的联系

PDF
TL;DR本研究连接了利用对抗训练 (adversarial training，AT) 训练的鲁棒判别器和基于能量的生成模型 (Energy-based Models，EBM)，通过分解判别器的损失并展示判别模型也能意识到输入数据密度实现。研究发现，令人惊讶的是，输入空间中未定向攻击点非常可能在判别分类器中隐藏的生成模型里 —— 即 EBM 中的能量非常低。我们展示了两个证据：未定向攻击比自然数据甚至更可能出现，当攻击强度增强时，它们的可能性也会增加。这使得我们能够轻松检测它们，并设计了一种名为 High-Energy PGD 的新型攻击方法，它能欺骗分类器但具有与数据集相似的能量。
discriminative classifiersadversarial traininggenerative modelingenergy-based modelsuntargeted attacks
发现论文，激发创造
  • 使用对抗性训练学习基于能量的模型

    我们研究了一种基于对抗训练的学习能量模型（EBMs）的新方法。我们发现二元对抗训练（AT）学习了一种特殊类型的能量函数，它建模了数据分布的支持，学习过程与基于 MCMC 的 EBMs 最大似然学习密切相关。我们进一步提出了用于 AT 的改进技术，并证明了这种新方法能够生成多样化和逼真的图像。除了具有与显式 EBMs 相比有竞争力的图像生成性能外，该研究方法易于稳定训练，特别适用于图像翻译任务，并展现了强大的对抗鲁棒性。我们的结果表明，AT 方法对于生成建模是可行的，suggesting，AT 是学习 EBMs 的竞争替代方法。

    Dec, 2020

  • 通过扩散过程改进敌对能量模型

    通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

    Mar, 2024

  • 基于平衡传播训练的能量模型的鲁棒性如何？

    通过对 CIFAR-10 和 CIFAR-100 数据集的实验，我们的工作首次探索了 EBMs 对自然损坏和对抗攻击的稳健性，结果表明 EBMs 在白盒攻击、黑盒攻击和自然扰动方面的稳健性与经过对抗训练的 DNNs 相当，而无需牺牲清晰度准确性或使用额外的训练技术。

    Jan, 2024

  • 基于能量的生成对抗网络

    介绍了一种名为 “能量基生成对抗网络”（EBGAN）的模型，将判别器视为能量函数，用于选定数据流形附近区域的低能量和其他区域的高能量，可以使用多种体系结构和损失函数，本文采用自编码器架构，以重构误差作为能量，实现了高分辨率图像的生成。

    Sep, 2016

  • 通过对抗训练学习全局优化的语言结构

    提出了一种针对文本的对抗训练策略，通过扰动自回归模型生成的文本来生成负样本，并证明该策略可以显著提高离散能量基模型的生成质量。

    Nov, 2023

  • 基于能量模型长期动态的随机安全：对抗防御

    本论文研究了使用 Markov Chain Monte Carlo 采样和能量模型对预训练分类器进行防御的方法，其目的是从原始输入中删除对抗性信号以进行准确的长期预测，并在 Cifar-10、SVHN 和 Cifar-100 三个数据集上实现了先进的防御。

    May, 2020

  • 能量模型中特征多样性

    本文研究能量学习及能量模型，重点关注特征集的多样性和冗余性的影响，利用 PAC 理论推导出各种上下文中的泛化界限，并表明减少特征集的冗余性可以提高模型的性能。

    Jun, 2023

  • 探究对抗鲁棒分类器的生成能力

    研究了对抗训练在能量函数方面的作用，发现其对生成能力的关键在于能够形成一种平坦的、在真实数据周围能量较低的能量函数。在此基础上，提出了一种新的对抗训练方法 JEAT，可以生成高质量图像并在各种攻击状态下取得最新的鲁棒性。

    Aug, 2021

  • 生成式分类器对抗攻击的鲁棒性是否更佳？

    本文旨在探究深度贝叶斯分类器，该分类器利用有条件的深度生成模型来改善传统朴素贝叶斯方法，并针对对抗性样本开发检测方法，试验结果表明深度贝叶斯分类器具有更好的鲁棒性，而检测方法可有效抵御多种攻击。

    Feb, 2018

  • 非生成能量模型

    本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

    Apr, 2023