ACLJul, 2019

不要以为前提成立：减轻自然语言推理中的人为误差

PDF
TL;DR提出两种概率方法以构建更稳健的模型，让其更好地跨数据集进行传递，解决了自然语言推理数据集中存在的偏见问题。通过在含有偏差的数据集上进行训练，并在不含偏差数据集上进行测试，结果表明这些方法能够使模型更加稳健，相比基线模型在 12 个自然语言推理数据集中，有 9 个传输效果更好。
natural language inferenceprobabilistic methodsdataset-specific artifactsmodel robustnessbiases
发现论文，激发创造
  • 通过集成对抗训练避免自然语言推理中仅有假设的偏差

    采用对抗性训练和敌对对抗方法的集成来降低自然语言推理中的偏见，这种方法比先前的去偏见努力表现更好，并且在推广到 12 个其他数据集时表现良好。

    Apr, 2020

  • 探究自然语言推理中假设偏差的人工模式：HypoNLI

    该文探究自然语言推理训练模型中的偏见问题，提取假设中的短语作为人工模式，展示它们对于特定标签的强烈指示作用，并探索缓解假设 - 唯一偏见的多种方法，包括下采样和对抗训练等。

    Mar, 2020

  • 自然语言推理数据中的注释问题

    该研究通过大规模数据集研究了自然语言推理，并揭示了某些语言现象与推理类别高度相关的结论，进一步表明自然语言推理模型的成功被高估了，这个任务仍是一个难题。

    Mar, 2018

  • 自然语言推理的多尺度数据增强方法用于降低伪影和优化预训练模型

    研究机器学习模型在自然语言推断（NLI）中学习数据集人工特征的问题，并提供一种多层次的数据增强方法以减轻数据集的人工特征带来的影响。

    Dec, 2022

  • 自然语言推理模型能否验证问答系统的预测？

    本文探讨如何利用自然语言推理来验证问答系统提供的答案是否正确，并通过使用大型预训练模型和最新的数据集来构建 QA 实例的前提 - 假设配对，进而将 QA 和 NLI 数据集结合以训练 NLI 模型，以此提高 QA 模型的准确性和置信度。

    Apr, 2021

  • 自然语言推理中假设偏见的对抗消除

    本文探讨如何通过对手博弈学习在自然语言推断任务中减弱假设偏见和虚假关联，结果表明通过对手博弈学习得到的表征可能更加公正且与任务精度下降不大。

    Jul, 2019

  • 通过增强自然语言处理数据来应对自然语言推断任务中的注释人为错误

    本研究旨在研究 Annotation Artifacts 在大型预先训练的 NLP 模型中的表现，分析其在自然语言推断任务中的限制、通过数据增强技术解决注释工件所引起的偏差，以及评估该方法的有效性。

    Feb, 2023

  • 通过适应残差来消除自然语言推理数据集中的偏差

    提出了 DRiFt 算法，该算法可以训练出较不受数据集偏差影响的 NLI 模型，该模型在挑战测试集上表现显著优于基准模型，并在原始测试集上保持良好的表现。

    Aug, 2019

  • 通过统计检验和自动数据增强解析自然语言推理中的词汇偏见数据集以减少人为影响

    通过利用一种新颖的统计测试方法，我们发现词汇分布与文本蕴含类之间存在显著关联，强调词汇是一种明显的偏差源。为了减轻这些问题，我们提出了几种自动数据增强策略，从字符到词级别。通过对 ELECTRA 预训练语言模型进行微调，我们将有增强数据的模型与基准模型进行了比较。实验证明，所提出的方法可以有效提高模型准确性，并分别减少偏差约 0.66% 和 1.14%。

    Dec, 2023

  • 自然语言推理中仅基于假设的基准线

    在十个不同的自然语言推理数据集上进行实验后，我们发现使用一种仅基于假设的模型，即使忽略上下文，也可以显著优于大多数 NLI 数据集的大多数基线，分析表明统计异常性可能允许模型在某些数据集中执行 NLI，超出不带上下文访问时本应实现的界限。

    May, 2018