训练数据与转换器文本模型的对抗鲁棒性之间相关性的搜索的奇特案例

Feb, 2024

训练数据与转换器文本模型的对抗鲁棒性之间相关性的搜索的奇特案例

A Curious Case of Searching for the Correlation between Training Data and Adversarial Robustness of Transformer Textual Models

PDF

Cuong Dang, Dung D. Le, Thai Le

TL;DR利用提取的 13 个不同特征来预测经过精细调整的模型的对抗鲁棒性，并证明训练数据与模型鲁棒性之间存在强相关性。

Abstract

Existing works have shown that fine-tuned textual transformer models achieve state-of-the-art prediction performances but are also vulnerable to adversarial text perturbations. Traditional adversarial evaluation

fine-tuned textual transformer models adversarial text perturbations model robustness training data adversarial evaluation

发现论文，激发创造

对比对抗训练改进的文本分类

该研究提出了一种正则化 Transformer-based 编码器 fine-tuning 用于文本分类任务的通用方法，并通过对干净和对抗性示例的对比学习来实现噪声不变表示，从而得到更好的文本分类效果。

Jul, 2021

使用 Transformer 评估文本归因的对抗鲁棒性

通过提出 attribution robustness（AR）的概念，使用一系列文本相似性度量来捕捉两个文本的局部性和不可感知性，并提出了 TransformerExplanationAttack（TEA）的概念，利用最先进的语言模型，提取单词替换，从而展示了对于几种文本分类架构的实验，证明了 TEA 在提高对上下文敏感性的同时，更加流畅，更不易被察觉。

Dec, 2022

生成变压器检测中的神经 - 统计特征的对抗鲁棒性

本研究探讨了计算机生成文本检测及其鲁棒性问题，发现统计特征在提高模型鲁棒性方面表现优越，建议在组合检测模型中采用；同时，复杂短语特征已经不再适用于现代生成模型的检测，传统统计特征已经成为更优的选择。

Mar, 2022

BERT 在自然语言攻击上真的很强吗？文本分类和蕴含的强基准线

本文提出一种简单却强大的文本对抗生成基准，名为 TextFooler. 在两个自然语言任务中将其应用，成功攻击了三个目标模型，包括强大的预训练 BERT 和广泛使用的卷积和循环神经网络。该框架具备以下三个优点：有效性，实用性和高效性。

Jul, 2019

通过手工制作的对抗性例子评估预训练语言模型的容易受攻击性

本文探讨了最新的预训练语言模型（PLMs），包括 GPT-3 和 BERT，存在安全漏洞，使其容易受到对抗性攻击的影响，并提出了一种有效的对抗方法来测试模型的语义相似性并减少其分类质量。

Sep, 2022

对抗性训练对语言模型的稳健性和泛化能力的影响

本文比较了几种对抗训练语言模型的不同方法，包括预训练数据增强，输入空间扰动和嵌入空间扰动，发现输入空间扰动或预训练数据增强可以提高鲁棒性，而使用嵌入空间扰动可以显著提高泛化性。通过神经元的语言相关性分析表明，泛化性的提高是由于 “更加专业化” 的神经元。这是第一篇对对抗训练语言模型生成不同对抗示例方法进行深度定性分析的工作。

Nov, 2022

BERT 强健性的案例！反驳基于同义词的文本分类对抗样本

本文调查了针对 BERT 的四种基于词汇替换的攻击方法，结合人类评估和概率分析，发现 96% 至 99% 的攻击并不能维护语义，其成功性主要基于将质量较差的数据输入模型中。作者进一步提出了有效的数据增强方案，以防止许多对抗性攻击。最终，通过对词汇更换的约束条件设定更合理的阈值，作者得出结论：BERT 比攻击研究所说的要更加健壮。

Sep, 2021

SenTest: 句子编码器鲁棒性评估

通过对比学习方法评估句子编码器的鲁棒性，使用字符级、词级和句级攻击检验了模型的稳健性，结果显示模型在扰动数据集上的准确率可下降高达 15％，且当前的分类策略未能充分利用语义和句法结构信息。

Nov, 2023

基于 BERT 的关系抽取的鲁棒性和偏差分析

通过对 BERT 模型进行关系抽取分析，我们从不同角度研究了微调预训练模型的泛化能力，并探究了不同泛化技术之间的差异，发现 BERT 在随机化、对抗性测试、反事实测试和选择偏见等方面存在瓶颈。我们呈现的测试平台 DiagnoseRE 已在 https://github.com/zjunlp/DiagnoseRE 上开源。

Sep, 2020

基于 Transformer 的对抗攻击在安全领域中的有效性

评估了变压器对系统防御者的恶意样本的强健性以及对系统攻击者的对抗性样本的可迁移性，发现变压器所生成的对抗样本具有最高的可迁移率，对其他模型具有更强的对抗性，强调了研究在安全领域中使用变压器架构进行攻击和防御的重要性，并建议将其作为转移攻击设置中的主要架构。

Oct, 2023