人工敌对样本与友好样本对 BERT 泛化能力的影响

EMNLPOct, 2023

人工敌对样本与友好样本对 BERT 泛化能力的影响

Effects of Human Adversarial and Affable Samples on BERT Generalizability

Aparna Elangovan, Jiayuan He, Yuan Li, Karin Verspoor

TL;DR通过实验验证，针对固定大小的训练样本，10-30% 含有人工对抗元素的训练样本可以提高文本分类和关系抽取等任务的准确性和 F1 分数，超出这一范围的增加可能导致性能停滞甚至降低。与此相反，带有人类友好元素的训练样本可能不利于模型的泛化能力，甚至可能降低泛化性能。

Abstract

bert-based models have had strong performance on leaderboards, yet have been demonstrably worse in real-world settings requiring generalization. Limited quantities of training data is considered a key impediment to achieving generalizability in machine learning. In this paper, we exami

bert-based models training data quality h-adversarial instances text classification relation extraction

发现论文，激发创造

对抗鲁棒性泛化需要更多数据

本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

Apr, 2018

人类和机器生成的文本分类词级对抗样本对比

本研究探讨了在维持语义和语法约束的前提下进行对抗样本攻击的可行性，通过 crowdsourcing 实验发现人类可以通过语义保持的词汇替换生成大量的对抗样本，这些人类生成的对抗样本虽然比最好的算法更加高效，但在自然性、情感及语法方面的表现并不高于最佳算法。

Sep, 2021

破解、模仿、修复：通过生成人类攻击提高鲁棒性

通过有限的人类对抗样本生成更有用的对抗样本，提高模型鲁棒性，对抗训练框架在 ANLI 和仇恨言论检测数据集中展示了其优势，同时训练合成对抗样本提高了模型对未来轮次的鲁棒性。

Oct, 2023

打败 AI：探究用对抗性人类标注来提升阅读理解

研究注释方法对于提高阅读理解数据集和模型的影响，发现对模型进行对抗训练后，模型对非对抗训练数据仍有较强的泛化能力。同时，模型仍然可以从比其弱的模型注释得到的数据学习。

Feb, 2020

更多数据可能扩大对抗性鲁棒模型和标准模型之间的泛化差距

针对现代机器学习模型易受到对人类不可察觉的攻击的问题，采用对抗培训来学习鲁棒模型的代价是在未被扰动的测试集上存在更高的泛化误差，此研究证明更多的数据可能会增加鲁棒分类器与标准分类器泛化误差的差距并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距，此现象也出现在线性回归模型中。

Feb, 2020

对抗训练下类人行为的扩展研究

本文探讨了神经网络对分布偏移的敏感性问题解决方案中的对抗训练，以及了解到神经网络与人类理解不同的处理方式，更进一步地研究对抗训练对于神经网络偏向形状的影响并给出可能的解释，从频率角度分析了其效果。

Mar, 2023

对抗性训练对语言模型的稳健性和泛化能力的影响

本文比较了几种对抗训练语言模型的不同方法，包括预训练数据增强，输入空间扰动和嵌入空间扰动，发现输入空间扰动或预训练数据增强可以提高鲁棒性，而使用嵌入空间扰动可以显著提高泛化性。通过神经元的语言相关性分析表明，泛化性的提高是由于 “更加专业化” 的神经元。这是第一篇对对抗训练语言模型生成不同对抗示例方法进行深度定性分析的工作。

Nov, 2022

对抗训练可能会损害泛化

本文研究了对抗训练在提高鲁棒精度（对抗方面）的同时又有可能降低标准精度（没有对抗方面）。通过构造凸学习问题，我们发现鲁棒精度和泛化能力之间存在基本的紧张关系，而利用未标记的数据进行鲁棒自我训练可以消除这种关系。

Jun, 2019

对抗鲁棒模型的好奇案例：更多的数据可以帮助，双下降，还是伤害泛化能力

本文研究对抗训练在分类问题的应用，发现更多的训练数据可能会损害对抗准确性模型的泛化能力，特别在存在强对抗时更加明显，给出了针对线性和二维分类问题的实验支持。

Feb, 2020

测量对抗数据集

在广泛应用于各个领域的 AI 系统的时代，确保对抗性鲁棒性变得越来越重要，以维护安全性并防止不可取的错误。本研究对描述 NLP 任务中文本实例的现有可量化指标进行了系统调查，并选择了几个当前的对抗效应数据集，比较了原始数据与对抗样本之间的分布差异，研究结果揭示了这些数据集在度量角度上更具挑战性的原因及其与基本假设的一致性。

Nov, 2023