Jun, 2022

利用人类和模型循环收集高质量对抗数据以用于机器阅读理解任务

PDF
TL;DR本文介绍我们在创建高质量的、针对任务 1 的机器阅读理解数据的过程中的经验，并描述了我们基于不同专题的定量定性分析结果以及与注释员信心的相关性，最后我们提出了相关建议。
machine-reading-comprehensionadversarial data collectionquantitative analysisqualitative analysisdynamic adversarial data collection
发现论文，激发创造
  • 分析极限情况下的动态对抗训练数据

    使用动态对抗数据采集（DADC）能够不断地生成具有挑战性的例子，获得更多的训练样本，可提高模型泛化能力，同时减少模型的错误率。我们进行了长期的 DADC 研究，并使用对抗性和非对抗性方法收集了 20 个 NLI 示例，该方法训练的模型在我们的测试集上减少了 26％的错误率。

    Oct, 2021

  • 对抗数据收集在问答中的有效性：一项大规模随机研究的结果

    本文通过对问答模型进行大规模对比研究，发现对抗训练对提升模型在对抗数据集上的表现有帮助，但在领域外数据集上却不够稳健；同时，文章进行了对抗数据和标准数据的质量比较，为未来的研究提供指导。

    Jun, 2021

  • 打败 AI：探究用对抗性人类标注来提升阅读理解

    研究注释方法对于提高阅读理解数据集和模型的影响，发现对模型进行对抗训练后，模型对非对抗训练数据仍有较强的泛化能力。同时，模型仍然可以从比其弱的模型注释得到的数据学习。

    Feb, 2020

  • 2022 DADC 赛场上的长角牛：欺骗问答模型需要多少语言学家？对抗性攻击的系统方法

    本文介绍了使用对抗手段来挑战自然语言处理系统的方法，并以 “longhorns” 小组在动态对抗数据收集第一次比赛中首位完成的提取型问答任务为例，强调了对抗提问的系统性和语言学知识，并描述了该小组的实验和提交结果。

    Jun, 2022

  • 用合成对抗数据生成提高问答模型的鲁棒性

    本文提出一种使用合成对抗数据生成的方法来提高问题回答模型对人工对手的鲁棒性。通过将合成数据引入训练，成功地将对人工对手的鲁棒性提高了大约一倍。

    Apr, 2021

  • 支持标注人员的提升对抗数据收集：GAHD 德语仇恨言论数据集的经验教训

    通过 GAHD 数据集，作者通过新策略支持标记人员创造更多样化的对抗性样本，提高现有仇恨言论检测模型的鲁棒性。

    Mar, 2024

  • Trick Me If You Can: 人工辅助生成问答对抗样本

    通过通过人类作者的参与识别并铸造对抗性问题，我们揭示了机器学习模型在自然语言理解上面临的复杂多样化挑战，包括多跳推理和实体类型干扰。

    Sep, 2018

  • 对抗性智力问答写作的新界面

    通过引入一种收集对抗性人工编写的问题的界面，我们利用人类生成的数据来开发让机器更好应对复杂任务的对抗性数据集，这对于开发问答人工智能是至关重要的。我们的界面不仅为创新的 Quiz Bowl AI 项目 QANTA 收集训练数据，同时也是为问答系统未来对抗性数据收集的一个概念验证。

    Mar, 2024

  • 人类对抗视觉问答

    通过 Adversarial VQA 测试，发现基于现有的 Visual Question Answering 模型的表现还有很大的提升空间，提出了未来研究方向，并希望 Adversarial VQA 测试能帮助推动 VQA 领域的进步和发展。

    Jun, 2021

  • 对抗性 VQA：评估 VQA 模型鲁棒性的新基准

    通过引入 Adversarial VQA 作为一个新的大型 VQA 基准测试，我们发现非专业注释者可以轻松成功攻击 SOTA VQA 模型，而预训练模型和对抗训练方法在新基准测试中效果远不如 VQA v2 基准测试，并且我们的数据集可有效提高模型在其他稳健性 VQA 基准测试中的性能。

    Jun, 2021