修复一行代码破解 Sabre 漏洞

May, 2024

Cutting through buggy adversarial example defenses: fixing 1 line of code breaks Sabre

Nicholas Carlini

TL;DR通过揭示在评估过程中的明显的梯度掩蔽问题和代码中的漏洞，我们展示了防御对抗性样本的 Sabre 算法的缺陷，并通过修复一个代码错误，将其鲁棒准确率降至 0%。作者通过修改算法引入新的防御组件以应对此问题，但修复过程中出现了第二个错误，进一步降低了算法的鲁棒准确率。

Abstract

Sabre is a defense to adversarial examples that was accepted at IEEE S&P 2024. We first reveal significant flaws in the evaluation that point to clear signs of gradient masking. We then show the cause of this

defensive adversarial examples evaluation gradient masking robust accuracy bug

发现论文，激发创造

使用对抗学习进行源代码的误导性作者归属

本文介绍了一种针对源代码作者归属的新型攻击方法，通过一系列基于蒙特卡洛树的语义保持的代码转换，可以误导基于机器学习的代码归属分析，并对两种最新的归属方法的准确率造成了巨大的影响，表明当前的代码作者归属方法不适用于实际应用，需要更加强大的技术。

May, 2019

测试时针对机器学习的逃避攻击

本文研究了机器学习在安全敏感应用中的应用，提出了一种基于梯度的方法来评估分类算法在对抗攻击下的安全性，并针对 PDF 文件中的恶意软件检测任务进行了实验，同时提出了一些相应的反制措施。

Aug, 2017

代码的对抗鲁棒性

本文探讨神经模型在代码领域中的敌对鲁棒性问题，通过实例化针对代码的对抗攻击，并结合现有和新技术提高模型鲁棒性，同时保持高准确性。

Feb, 2020

隐匿的梯度给了虚假的安全感：绕过对抗样本的防御

本文发现了一种称为 “混淆梯度” 的梯度掩码现象，该现象导致了对抗性攻击防御中的安全虚假感。通过针对这种现象的攻击技术研究，我们发现依赖于混淆梯度的防御可以被规避，因此需要更可靠的防御机制。

Feb, 2018

STRATA: 适用于代码模型的简单、无梯度攻击

通过建立令牌频率统计与学习令牌嵌入之间的关系，我们构建了一种简单有效的无梯度方法，用于对代码模型生成最先进的对抗性示例。

Sep, 2020

高效组合优化的简约黑盒对抗攻击

本文提出了一种离散替代方法来解决黑匣子攻击的问题，该方法可以在不需要估计导数的情况下有效地攻击神经网络，降低了之前所提出方法所需的查询次数。

May, 2019

评估对抗鲁棒性

本文介绍了针对对抗样本进行防御的困难性，提出了新的方法来评估防御方法的效果并建议研究者和读者使用这些方法以避免常见陷阱。

Feb, 2019

使用正交投影梯度下降规避对抗性样本检测防御

本文介绍了一种基于 Orthogonal Projected Gradient Descent 攻击技术的方法，通过正交化梯度来生成对抗样本，以便在同时满足误分类和被检测为非对抗性之间达到更好的平衡，成功地躲避了四种先进的对抗性检测方法，降低其准确度为 0%，而维持着 0% 的检测率。

Jun, 2021

源代码模型的语义鲁棒性

研究表明，在源代码模型中，深度神经网络容易受到对代码功能保留的参数语义程序转换序列引起的对抗性示例的影响，我们发现对抗性训练可以显著提高模型的鲁棒性。

Feb, 2020

生成黑盒对抗文本序列以躲避深度学习分类器

本文提出了一种称为 DeepWordBug 的算法，它可以在黑盒设置下生成小的文本扰动以强制深度学习分类器错误地分类文本输入，并通过基于词的 LSTM 和基于字符的 CNN 等八个真实世界文本数据集的实验表明，我们的算法可以有效地降低当前最先进的深度学习模型的预测准确性。

Jan, 2018