ICLRMay, 2020

基于能量模型长期动态的随机安全：对抗防御

PDF
TL;DR本论文研究了使用 Markov Chain Monte Carlo 采样和能量模型对预训练分类器进行防御的方法，其目的是从原始输入中删除对抗性信号以进行准确的长期预测，并在 Cifar-10、SVHN 和 Cifar-100 三个数据集上实现了先进的防御。
adversarial attacksdeep networksmarkov chain monte carlo samplingenergy-based modeladversarial defense
发现论文，激发创造
  • 基于评分的生成模型的对抗性净化

    本文提出了一种新颖的基于去噪分数匹配的敌对净化方法，该方法使用少数步骤快速净化被攻击的图像，并介绍了一种有效的随机净化方案以增强其鲁棒性。

    Jun, 2021

  • 随机安全性的计算成本

    本文探讨了使用长时程持续 Chain Monte Carlo 模拟 Langevin 动力学是否能提高能量模型（EBM）所达到的表示质量。通过对训练好的 EBM 执行扩散过程的 Monte Carlo 模拟，并使用改进的对抗鲁棒性和独立分类器网络的校准分数方案，结果表明增加持续对比散度中的 Gibbs 抽样计算预算可以提高模型的校准和对抗鲁棒性，在实现从连续能量势中高效采样的新量子和经典硬件和软件方面具有实用价值。

    May, 2023

  • PureEBM: 通过能量模型中间运行动力学实现的通用毒素净化

    数据污染攻击对机器学习模型的完整性构成重大威胁，本研究引入了一种通用数据净化方法，通过应用一个基于能量的模型（EBM）的普适性随机预处理步骤来保护自然训练的分类器免受恶意攻击。

    May, 2024

  • 基于平衡传播训练的能量模型的鲁棒性如何？

    通过对 CIFAR-10 和 CIFAR-100 数据集的实验，我们的工作首次探索了 EBMs 对自然损坏和对抗攻击的稳健性，结果表明 EBMs 在白盒攻击、黑盒攻击和自然扰动方面的稳健性与经过对抗训练的 DNNs 相当，而无需牺牲清晰度准确性或使用额外的训练技术。

    Jan, 2024

  • 使用对抗性训练学习基于能量的模型

    我们研究了一种基于对抗训练的学习能量模型（EBMs）的新方法。我们发现二元对抗训练（AT）学习了一种特殊类型的能量函数，它建模了数据分布的支持，学习过程与基于 MCMC 的 EBMs 最大似然学习密切相关。我们进一步提出了用于 AT 的改进技术，并证明了这种新方法能够生成多样化和逼真的图像。除了具有与显式 EBMs 相比有竞争力的图像生成性能外，该研究方法易于稳定训练，特别适用于图像翻译任务，并展现了强大的对抗鲁棒性。我们的结果表明，AT 方法对于生成建模是可行的，suggesting，AT 是学习 EBMs 的竞争替代方法。

    Dec, 2020

  • 探究稳健和生成模型之间的联系

    本研究连接了利用对抗训练 (adversarial training，AT) 训练的鲁棒判别器和基于能量的生成模型 (Energy-based Models，EBM)，通过分解判别器的损失并展示判别模型也能意识到输入数据密度实现。研究发现，令人惊讶的是，输入空间中未定向攻击点非常可能在判别分类器中隐藏的生成模型里 —— 即 EBM 中的能量非常低。我们展示了两个证据：未定向攻击比自然数据甚至更可能出现，当攻击强度增强时，它们的可能性也会增加。这使得我们能够轻松检测它们，并设计了一种名为 High-Energy PGD 的新型攻击方法，它能欺骗分类器但具有与数据集相似的能量。

    Apr, 2023

  • 通过扩散过程改进敌对能量模型

    通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

    Mar, 2024

  • 最大似然训练的 EBMs 是使用自对抗损失训练的生成模型

    本文研究了训练基于能量的模型（EBMs）的最大似然估计方法，通过确定性梯度下降 ODE 解法替换 Langevin 动力学以了解该训练过程，并将动力学视为生成器模型并通过优化由能量确定生成器的梯度定义的评论家来连接 GAN，因此提出了自对抗损失。研究表明，EBM 训练实际上是一种自对抗性的过程，而不是最大似然估计。

    Feb, 2021

  • 通过对抗训练学习全局优化的语言结构

    提出了一种针对文本的对抗训练策略，通过扰动自回归模型生成的文本来生成负样本，并证明该策略可以显著提高离散能量基模型的生成质量。

    Nov, 2023

  • PureGen: 通用数据净化方法 —— 基于生成模型动态的训练时毒素防御

    利用随机变换介绍的普遍数据净化方法，通过迭代 Langevin 动力学算法行为模型（EBMs）、去噪扩散概率模型（DDPMs）或两者的能量波动来净化被污染的数据，最小化对分类器泛化性能的影响，并在 CIFAR-10、Tiny-ImageNet 和 CINIC-10 上提供针对多种攻击（包括 Narcissus、Bullseye Polytope 和 Gradient Matching）的最新防御，而无需攻击或分类器特定信息。

    May, 2024