Aug, 2023

LEAP: 自然语言处理软件的高效自动化测试方法

PDF
TL;DR该研究提出了一种自动化测试方法 LEAP，基于 Levy 飞行和粒子群优化，结合文本特征生成对抗性测试用例，实验证明 LEAP 在生成对抗性测试用例的平均成功率为 79.1％，比其他方法高出 6.1％，并显著减少了时间开销。此外，实验结果表明 LEAP 可以生成更具传递性的测试用例，并显著提高基于 DNN 的系统的鲁棒性。
发现论文，激发创造
  • AI 大规模语言模型的渗透测试

    利用大语言模型（如 GPT3.5）增强渗透测试人员的能力，通过高级任务规划和低级漏洞挖掘两个使用案例，实现了与人工智能合作伙伴的潜在应用，并在可漏洞虚拟机中实施自动化攻击向量及分析，并对提供基于人工智能的合作伙伴的伦理问题进行了讨论。

    Jul, 2023

  • AEON: 自然语言处理测试用例自动评估方法

    使用 AEON 工具对生成的测试用例进行语义相似性和语言自然度评估，从而提高测试用例的质量，最终帮助提高自然语言处理软件的准确性和稳健性。

    May, 2022

  • 在硬标签黑盒设置中生成自然语言攻击

    该研究提出了一种决策式的攻击策略，利用基于人口统计的优化算法，通过仅观察目标模型预测的前一标签，制作出可信且语义相似的对抗性例子。与先前文献中提出的攻击相比，在高度限制的情况下，成功率更高，被替换单词比例更低。

    Dec, 2020

  • 生成具有有效性和自然性的大型语言模型对抗样本

    基于大型语言模型 (LLMs) 的语言理解和生成能力，我们提出了 LLM-Attack，旨在使用 LLMs 生成既有效又自然的对抗性示例。实验结果表明 LLM-Attack 比基线模型在人类和 GPT-4 评估中表现优异，能够生成通常有效、自然，并保留语义意义、语法正确性和人类不可察觉性的对抗性示例。

    Nov, 2023

  • 加强文本攻击检测器

    该研究提出了两个重要贡献：引入了 LAROUSSE 框架来检测文本对抗攻击，引入了 STAKEOUT 基准评估框架，其中包含了九种常用攻击方法、三个数据集和两个预训练模型。通过广泛的数值实验，我们证明 LAROUSSE 优于先前的方法，并且可以识别出有意义的检测率变化因素。

    Oct, 2023

  • 黑盒环境下查询效率攻击的强基准

    该研究提出了一种查询效率高的攻击策略来生成文本分类和蕴含任务中的可信对抗性样例，并通过使用注意力机制和局部敏感哈希来减少查询次数。对三个不同的搜索空间使用四种基线进行比较，平均来说我们在所有数据集和目标模型中将查询次数降低了 75％。在受限查询设置中，与以前的攻击相比，我们的攻击成功率更高。

    Sep, 2021

  • 从对抗性武器竞赛到模型为中心的评估：推进自动化统一鲁棒性评估框架

    本文提出了一种统一的自动鲁棒性评估框架 RobTest，通过针对模型能力建立鲁棒性评估维度、生成不同维度下的对抗样本，最终实现自动鲁棒性评估。实验结果表明，该框架能有效评估 RoBERTa 模型的鲁棒性。

    May, 2023

  • 大型语言模型中的对抗攻击与防御：旧与新的威胁

    过去十年来，人们对神经网络的鲁棒性进行了广泛的研究，但这个问题依然没有得到很好的解决。在这篇论文中，我们提出了改进新方法的鲁棒性评估和减少错误评估的第一组先决条件，同时指出了面向开源模型中恶意内容生成的嵌入空间攻击作为另一个可行的威胁模型。最后，我们通过一个最近提出的防御方法进行演示，展示了在没有针对大型语言模型的最佳实践的情况下，过高估计新方法的鲁棒性的容易性。

    Oct, 2023

  • 扩展范围：将英语对抗攻击应用于中文

    本研究通过适当的文本分割和语言约束，将英语自然语言处理领域最先进的对抗性攻击算法适应于中文，并展示了这些攻击方法可以生成高质量的对抗性样本，从而提高了中文自然语言处理领域的对抗鲁棒性。

    Jun, 2023

  • 可变复合语义扰动的多目标演化搜索

    为了构建更加强健的深度神经网络，本文提出了一种多目标进化搜索可变长度复合语义扰动的新方法，并在 CIFAR10 和 ImageNet 数据集上进行了实验，结果表明相较于传统方法，该方法可以以更短的时间成本获得更自然、攻击成功率更高的对抗样本。

    Jul, 2023