Feb, 2020

打败 AI：探究用对抗性人类标注来提升阅读理解

PDF
TL;DR研究注释方法对于提高阅读理解数据集和模型的影响，发现对模型进行对抗训练后，模型对非对抗训练数据仍有较强的泛化能力。同时，模型仍然可以从比其弱的模型注释得到的数据学习。
reading comprehensionannotation methodologyadversarial traininggeneralizationtransfer learning
发现论文，激发创造
  • 利用人类和模型循环收集高质量对抗数据以用于机器阅读理解任务

    本文介绍我们在创建高质量的、针对任务 1 的机器阅读理解数据的过程中的经验，并描述了我们基于不同专题的定量定性分析结果以及与注释员信心的相关性，最后我们提出了相关建议。

    Jun, 2022

  • 用合成对抗数据生成提高问答模型的鲁棒性

    本文提出一种使用合成对抗数据生成的方法来提高问题回答模型对人工对手的鲁棒性。通过将合成数据引入训练，成功地将对人工对手的鲁棒性提高了大约一倍。

    Apr, 2021

  • 对抗数据收集在问答中的有效性：一项大规模随机研究的结果

    本文通过对问答模型进行大规模对比研究，发现对抗训练对提升模型在对抗数据集上的表现有帮助，但在领域外数据集上却不够稳健；同时，文章进行了对抗数据和标准数据的质量比较，为未来的研究提供指导。

    Jun, 2021

  • 对抗性 VQA：评估 VQA 模型鲁棒性的新基准

    通过引入 Adversarial VQA 作为一个新的大型 VQA 基准测试，我们发现非专业注释者可以轻松成功攻击 SOTA VQA 模型，而预训练模型和对抗训练方法在新基准测试中效果远不如 VQA v2 基准测试，并且我们的数据集可有效提高模型在其他稳健性 VQA 基准测试中的性能。

    Jun, 2021

  • Trick Me If You Can: 人工辅助生成问答对抗样本

    通过通过人类作者的参与识别并铸造对抗性问题，我们揭示了机器学习模型在自然语言理解上面临的复杂多样化挑战，包括多跳推理和实体类型干扰。

    Sep, 2018

  • 数字之力：通过每个示例使用四个对抗句进行微调的强大阅读理解

    通过添加对抗性句子来攻击阅读理解模型并测试新模型 ELECTRA-Small 的抗性，发现将模型分别在一句和五句对抗性句子上进行微调可以提高其对抗攻击的鲁棒性。

    Jan, 2024

  • 利用对抗攻击揭示机器阅读理解模型中的统计偏差

    本文研究了预训练语言模型在机器阅读理解任务中表现的问题，发现现有模型的性能存在统计偏差，提出了一种有效的攻击方法以及一种改进的训练方法来解决这个问题。

    May, 2021

  • 破解、模仿、修复：通过生成人类攻击提高鲁棒性

    通过有限的人类对抗样本生成更有用的对抗样本，提高模型鲁棒性，对抗训练框架在 ANLI 和仇恨言论检测数据集中展示了其优势，同时训练合成对抗样本提高了模型对未来轮次的鲁棒性。

    Oct, 2023

  • 用于评估阅读理解系统的对抗样本

    通过对斯坦福问答数据集（SQuAD）的对抗评估方案，测试阅读理解系统对插入的语义、语法错误的诈骗问题的正确性，从而提高模型对于语言的理解水平。

    Jul, 2017

  • 对抗性自然语言推理：自然语言理解新基准

    介绍了一个通过迭代对抗人与模型的程序收集的大规模 NLI 基准数据集，并展示了训练模型在这个新数据集上将导致在各种流行的 NLI 基准测试中的最新性能，同时还带来了更困难的挑战。数据收集方法可以在永不停止的学习场景中应用，成为 NLU 的移动目标，而不是一个很快就会饱和的静态基准测试集。

    Oct, 2019