ACLOct, 2019

对抗性自然语言推理：自然语言理解新基准

PDF
TL;DR介绍了一个通过迭代对抗人与模型的程序收集的大规模 NLI 基准数据集，并展示了训练模型在这个新数据集上将导致在各种流行的 NLI 基准测试中的最新性能，同时还带来了更困难的挑战。数据收集方法可以在永不停止的学习场景中应用，成为 NLU 的移动目标，而不是一个很快就会饱和的静态基准测试集。
nlibenchmark datasethuman-and-model-in-the-loop procedurestate-of-the-art performancedata collection method
发现论文，激发创造
  • 对抗性自然语言推理数据集分析

    本文提出了一种精细注释 Adversarial NLI 的方法，通过分析其数据集中不同方面的推理并使用手工编码，回答了一些问题，如哪种推理类型最常见，哪种模型在每种推理类型上的表现最好等，并希望这些注释可以使得对于 ANLI 训练的模型进行更细粒度的评估，更深入的了解模型失败和成功的原因，并且有助于在未来培训出更好的模型。

    Oct, 2020

  • ViANLI: 针对越南语的对抗自然语言推理

    通过预训练模型在标注过程中使用，本文介绍了对自然语言推理进行研究的越南 NLVS 数据集 ViANLI，并证明基于该数据集训练的模型显著提高了其他越南自然语言推理数据集的结果。

    Jun, 2024

  • 如何改进自然语言理解基准测试？

    该论文提出了评估自然语言理解任务的四个标准，并指出目前大多数现有标准都无法满足这些标准，而对抗性数据收集并不能有效地解决这些失败的根本原因。为了恢复健康的评估生态系统，需要在基准数据集的设计、标注的可靠性、其大小以及处理社会偏见的方式方面取得显著进展。

    Apr, 2021

  • 伪新闻检测模型的对抗性基准测试

    本文提出了一个对抗性基准测试，旨在测试虚假新闻检测器推理现实世界事实的能力，使用 BERT 分类器 fine-tuned 在 LIAR arXiv:arch-ive/1705648 和 Kaggle Fake-News 数据集上，结果显示这两种模型在处理组合语义、词汇关系和修饰符等方面的意思变化上存在失败的情况。这表明虚假新闻检测器需要与其他事实检查方法一起使用。

    Jan, 2022

  • 文本摘要模型的事实准确性对抗 NLI

    应用对抗 NLI 数据集来训练 NLI 模型，我们发现 Transformer 模型在摘要生成方面有较高的准确性。

    May, 2020

  • MENLI: 自然语言推理的鲁棒性评估度量

    本文提出基于自然语言推断方法的评价指标，相比以往 BERT-based 评价指标更具鲁棒性，并结合其他评价指标可以同时提高鲁棒性和质量指标。

    Aug, 2022

  • 超越排行榜：揭示自然语言推理数据和模型弱点方法综述

    本文是对近年来有关自然语言推理数据集的研究及其相关算法模型的综述，对模型和数据集中存在的问题进行分类整理，并提出一些可能的研究方向，为未来的研究提供指导建议。

    May, 2020

  • 自然语言模型对抗性评估

    本文提出了一种用于评估自然语言处理模型的新的抽象框架，通过明确研究人员之间的某些对抗角色，这有助于定义不同角色在评估中的贡献，并鼓励更早的错误分析，这个框架可以用多种方式实例化，并模拟一些熟悉的内部和外部评估以及一些新的评估。

    Jul, 2012

  • 自然语言推理中假设偏见的对抗消除

    本文探讨如何通过对手博弈学习在自然语言推断任务中减弱假设偏见和虚假关联，结果表明通过对手博弈学习得到的表征可能更加公正且与任务精度下降不大。

    Jul, 2019

  • IndoNLI：一个印尼自然语言推理数据集

    我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。

    Oct, 2021