针对阅读理解中的领域和跨语言通用性进行的对抗增强策略搜索

EMNLPApr, 2020

针对阅读理解中的领域和跨语言通用性进行的对抗增强策略搜索

Adversarial Augmentation Policy Search for Domain and Cross-Lingual Generalization in Reading Comprehension

Adyasha Maharana, Mohit Bansal

TL;DR本文研究了如何通过自动化数据增强和提出多种 QA 攻击来增强阅读理解模型的鲁棒性，同时提高其在源域、新领域和不同语言中的泛化性能。结果表明，采用学习的增强策略可以显著提高模型在各种领域和语言中的性能。

Abstract

reading comprehension models often overfit to nuances of training datasets and fail at adversarial evaluation. Training with adversarially augmented dataset improves robustness against those adversarial attacks b

reading comprehension models adversarial evaluation automated data augmentation qa adversaries generalization

发现论文，激发创造

QAGAN：学习领域不变的语言特征的对抗方法

探索对抗训练方法以学习领域不变特征，从而使语言模型可以对域外数据集进行良好的推广。我们还审查了各种其他方法来提高我们的模型性能，包括通过改写句子实现数据增强、将回答跨度预测的结尾词映射到开始词上以及精心设计的退火函数。我们的初步结果表明，在结合这些方法的情况下，与基线相比，在域外验证数据集上我们能够实现 EM 分数 15.2% 的提高和 F1 分数 5.6% 的提高。

Jun, 2022

生成数据增强利用 LLMs 改善问答中的分布鲁棒性

通过实验证明生成数据对阅读理解数据集的扩充可以更好地提高对自然分布变化的鲁棒性。

Sep, 2023

通过对抗数据增强方法泛化到未见领域

该篇研究论文提出了一个基于循环迭代的数据增强方法，使用虚构的目标领域中存在 “困难” 样本的数据来训练学习模型，以在先前未知的目标领域上实现更好的一般化表现。该方法利用对抗性示例以及数据依赖正则化来提高模型性能。

May, 2018

跨域问答泛化学习

通过结合提示方法和线性探针 fine-tuning 策略，我们提出了一种新颖的方法，可以有效提高生成模型和判别模型的泛化能力，特别在跨领域问题回答 (QA) 任务上表现优异。

May, 2023

领域无关的对抗训练问答

本文提出一种采用对抗训练框架来解决深度学习中新领域适应问题的方法，将传统 QA 模型和判别器组合，以对抗的方式进行训练，从而实现 QA 模型学习到领域不变特征，并在 MRQA Shared Task 2019 中取得了优于基线模型的性能。

Oct, 2019

对抗自动数据增强

通过使用对抗性方法，Adversarial AutoAugment 能够通过同时优化目标相关对象和数据增强策略搜索损失，以便更快且更有效率地完成深度神经网络的训练及图像分类任务，从而将计算成本减少 12 倍，时间开销减少 11 倍，达到了最佳的实验成果。

Dec, 2019

隐私政策问答的检索增强数据增强技术

本文通过集成检索模型和利用多个预训练语言模型及去噪防护，开发了一种新型数据增强框架，以捕获未标记的策略文件中的相关文本段，并扩展训练集中的正面示例。使用此增强数据，该研究在 PrivacyQA 基准测试中将现有水平提高了 10% F1，实现了 50% 的新水平。（其中，F1 是一种综合度量，用于评估二元分类器的准确性。）

Apr, 2022

文本分类器通用对抗策略

我们引入了一种新的通用对抗策略，通过在多个文本上学习一个单一的搜索策略，可以成功地找到通用的对抗样本，该策略基于与文本领域相关的名称替换和语义保留文本修改，并使用强化学习来提取强基线方法。

Jun, 2022

单源领域泛化的敌对贝叶斯增强

提出 Adversarial Bayesian Augmentation（ABA）算法，该算法利用对抗学习和贝叶斯神经网络生成多样化的数据增强，以解决领域泛化中缺乏多样训练数据、目标数据不可访问和领域偏移等问题，通过在多种领域上生成合成图像域，帮助分类器在未见到的领域中泛化。在包括样式偏移、子人群偏移和医学图像处理等多种领域偏移情况下，ABA 超越了所有以往的最先进方法，包括预先指定的增强、基于像素和卷积的增强技术。

Jul, 2023

用合成对抗数据生成提高问答模型的鲁棒性

本文提出一种使用合成对抗数据生成的方法来提高问题回答模型对人工对手的鲁棒性。通过将合成数据引入训练，成功地将对人工对手的鲁棒性提高了大约一倍。

Apr, 2021