EMNLPNov, 2022

审视被忽略的内容：自然语言推断中重复单词偏见分析

PDF
TL;DR本研究发现目前 NLI 模型在处理具有低重叠度的 “假设” 和 “前提” 时，很容易出现双向重叠偏差，当前的去除偏差方法对这种类型的偏差并无效果，探究了重叠偏差产生的原因和在减轻此类偏差方面少数类样例的作用，并发现其并非是源于预训练。
nli modelsoverlap biasentailment labeldebiasing methodsminority examples
发现论文，激发创造
  • 针对词汇数据集偏差提高 NLI 模型的鲁棒性

    本文探讨了深度学习模型在自然语言推理方面存在数据偏见的现象，并提出了数据级和模型级去偏见的方法，实验表明采用正交性方法可以更好地去偏见且保持高准确率。

    May, 2020

  • 通过集成对抗训练避免自然语言推理中仅有假设的偏差

    采用对抗性训练和敌对对抗方法的集成来降低自然语言推理中的偏见，这种方法比先前的去偏见努力表现更好，并且在推广到 12 个其他数据集时表现良好。

    Apr, 2020

  • 使用人类解释监督模型关注力以强化自然语言推理

    探究利用自然语言解释来监督模型的注意力权重，促使其更集中于解释中的关键词，从而提高模型性能，此方法的实验表明，这种改进可以适用于其它 NLI 数据集

    Apr, 2021

  • 探究自然语言推理中假设偏差的人工模式：HypoNLI

    该文探究自然语言推理训练模型中的偏见问题，提取假设中的短语作为人工模式，展示它们对于特定标签的强烈指示作用，并探索缓解假设 - 唯一偏见的多种方法，包括下采样和对抗训练等。

    Mar, 2020

  • 探究文本蕴涵数据集中的偏见

    本研究分析了 SNLI 和 MultiNLI 数据集中逻辑关系的数据偏差程度及其影响，并提出一种简单的方法来降低数据集中的数据偏差。我们发现仅对 SNLI 数据集中的假设进行分类，就能产生 64% 的准确率。

    Jun, 2019

  • 自然语言推理中的句法启发式诊断：看出其本质

    通过研究自然语言推断中机器学习模型的三种不可靠启发式方法：词汇重叠启发式，子序列启发式和成分启发式，我们引入了一个名为 HANS 的数据集，以确定模型是否采用了这些启发式，并发现 BERT 等最先进的模型在 HANS 上表现非常差，说明 NLI 系统仍有很大改进空间。

    Feb, 2019

  • 训练数据中的隐藏偏差对文本蕴涵识别性能的影响

    本文提出了一种新的方法来研究用于识别文本蕴含任务的大型语料库的质量，通过基于统计假设检验的方法，测试了斯坦福自然语言推理（SNLI）语料库的可预测性，结果表明该库存在隐藏的偏差，并呈现了此偏差对于 RTE 的 NN 模型性能的影响。

    Apr, 2018

  • 通过建模语料库中的偏见进行端到端偏见缓解

    本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。

    Sep, 2019

  • 随着更大的模型和更长的训练，词汇泛化能力提高

    该研究分析了自然语言推理、释义检测和阅读理解中词汇重叠启发式的使用，发现更大的模型较不容易采用词汇重叠启发式，并且更长的训练会导致模型放弃使用词汇重叠启发式，最后提供证据表明模型大小差异的根源在于预训练模型。

    Oct, 2022

  • 不要以为前提成立：减轻自然语言推理中的人为误差

    提出两种概率方法以构建更稳健的模型，让其更好地跨数据集进行传递，解决了自然语言推理数据集中存在的偏见问题。通过在含有偏差的数据集上进行训练，并在不含偏差数据集上进行测试，结果表明这些方法能够使模型更加稳健，相比基线模型在 12 个自然语言推理数据集中，有 9 个传输效果更好。

    Jul, 2019