本文介绍 MAYA - 一种多粒度攻击的方法，它能够有效生成高质量的对抗样本，并通过基于强化学习的方法训练多粒度攻击代理以进一步减少查询次数和适应黑盒模型攻击。在两种不同的黑盒攻击设置和三种基准数据集上攻击 BiLSTM、BERT 和 RoBERTa 模型，实验结果表明我们的模型具有更好的攻击性能和更流畅、更符合语法规则的对抗样本。

Sep, 2021

研究多标签学习模型的脆弱性和准确性，提出通用的攻击框架来攻击深度神经网络，并设计两个特定方法来生成有针对性的多标签扰动来检测模型的脆弱性，并提出了一种潜在的防御策略来增强多标签深度学习模型的可解释性和鲁棒性。

Jan, 2019

本文提出了一种模仿对抗攻击的方法，通过基于梯度的攻击方法生成对抗触发器，对各种最先进的神经排名模型进行排序伪造，从而对抗黑盒神经通道排名模型的扰动攻击。

Sep, 2022

该研究提出了一种决策式的攻击策略，利用基于人口统计的优化算法，通过仅观察目标模型预测的前一标签，制作出可信且语义相似的对抗性例子。与先前文献中提出的攻击相比，在高度限制的情况下，成功率更高，被替换单词比例更低。

Dec, 2020

本文研究了基于图结构的深度学习模型的鲁棒性问题，针对修改数据的组合结构而导致模型攻击的问题，提出了基于强化学习的攻击方法，同时引入遗传算法和梯度法等多种变形方法来进行攻击，并通过实验验证了针对图级别和节点级别分类任务的多种图神经网络模型都具有易受攻击性，同时这些攻击手段可以用来进一步诊断分类器。

Jun, 2018

本文提出两种针对深度排名系统的攻击，即候选攻击和查询攻击，还提出了一种反折叠三元组防御来提高排序模型的鲁棒性，并通过提出的经验鲁棒性评分来全面度量排名模型的鲁棒性，实验结果表明，我们的防御措施可以显著提高排名系统的鲁棒性，并同时缓解各种攻击。

Jun, 2021

本文提出了一种新的生成组合对抗样本的方法和一种广义对抗训练方法，能够实现模型对多种组合语义扰动的鲁棒性，包括色调、饱和度、亮度、对比度和旋转等，并在 ImageNet 和 CIFAR-10 数据集上具有显著性能优势。

Feb, 2022

本文提出了两种针对深度排序系统的攻击方法，即候选攻击和查询攻击，并且也提出了一种防御方法来提高排序系统的鲁棒性，我们的攻击和防御方法在 MNIST、Fashion-MNIST 和 Stanford-Online-Products 数据集中进行了评估。实验结果表明，我们的攻击可以有效地攻击典型的深度排序系统，同时使用我们的防御方法可以中等程度地提高系统的鲁棒性，此外，我们的攻击展示了可以实现黑盒攻击的可能性。

Feb, 2020

机器学习算法的对抗性攻击是人工智能在很多实际应用中的主要障碍之一，通过在测试样本中引入微小和结构化的扰动，对高性能神经网络造成显著影响。本文在自然语言处理领域特别是文本分类任务中研究对抗性示例，探究了对抗性容易受到攻击的原因，特别是与模型固有维度的相关性。我们发现对抗性样本的嵌入维度与模型输入样本具有相同嵌入维度时的有效性之间存在很强的相关性，利用这种敏感性设计了一种对抗性防御机制。通过使用各种固有维度的集成模型来阻止攻击，我们在多个数据集上测试了其有效性。我们还研究了使用不同距离度量来衡量对抗性扰动的问题。对于所有上述研究，我们在具有不同维度的多个模型上进行了测试，并使用词向量级对抗性攻击来证实这些发现。

Apr, 2024

本文研究了利用目标模型输出和数据对攻击率和查询率的影响，并表明两者都可以提高，同时附加查询的开销有限。

Apr, 2021