ACLMay, 2019

自然语言句子匹配数据集的选择偏差探索和去偏方法

PDF
TL;DR本文对自然语言句子匹配（NLSM）中可能出现的选择偏见进行了调查，并提出了一种训练和评估框架以减轻偏见带来的负面影响，实验结果表明该框架可以提高训练模型的泛化能力，并给出更加可信的评估结果。
发现论文，激发创造
  • 探究文本蕴涵数据集中的偏见

    本研究分析了 SNLI 和 MultiNLI 数据集中逻辑关系的数据偏差程度及其影响，并提出一种简单的方法来降低数据集中的数据偏差。我们发现仅对 SNLI 数据集中的假设进行分类，就能产生 64% 的准确率。

    Jun, 2019

  • 自然语言理解中的去偏方法使得偏见更容易被接受

    通过提出一种基于探究的框架，研究了自然语言理解中的偏见修正方法。结果表明，推迟偏见的方法会导致更多的偏见被编码到模型的内部表示中。

    Sep, 2021

  • 通过建模语料库中的偏见进行端到端偏见缓解

    本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。

    Sep, 2019

  • 利用自然语句理解语言模型中的偏见

    本文通过创建一个基于职业的自然句子语料库来评估语言模型上的偏差，与以往只使用合成数据集的研究方法有所不同，证明使用基于自然句子的提示会比基于预设模板的提示更为准确和系统化地评估性别 - 职业偏差。

    May, 2022

  • 大语言模型的选择碰撞器偏差

    本文旨在探讨样本选择所导致的碰撞偏差对大型语言模型的影响，描述了一种利用由此产生的错误相关性的方法来确定模型对其预测存在不确定性的不确定度度量，并提出了人类不确定性匹配的不确定度度量，并在网络上提供演示。

    Aug, 2022

  • 通过对比词对来消除句子嵌入器的偏见

    去除自然语言处理中句子嵌入中的线性和非线性偏见信息，以不影响下游性能。通过比较常见去偏方法和考虑非线性信息的去偏指标，探索了这种方法。

    Mar, 2024

  • 生成数据以缓解自然语言推理数据集中的伪相关性

    本篇研究提出了一种生成去偏差数据集的方法，通过过滤掉对任务并无帮助的数据以提高自然语言处理模型的泛化能力，并在实验中证实了该方法可以显著提高模型在不同任务分布下的性能表现。

    Mar, 2022

  • 针对词汇数据集偏差提高 NLI 模型的鲁棒性

    本文探讨了深度学习模型在自然语言推理方面存在数据偏见的现象，并提出了数据级和模型级去偏见的方法，实验表明采用正交性方法可以更好地去偏见且保持高准确率。

    May, 2020

  • 自然语言处理中社会人口统计信息偏差调查

    本篇论文调查了 209 篇关于自然语言处理模型中的偏差的论文，提出了社会人口统计学偏见的定义，并确定了研究偏见的三个主要类别：偏见类型，偏见度量和去偏见。作者总结说，目前的去偏见技术是肤浅的，不能真正消除偏见；最后提供了未来工作的建议。

    Jun, 2023

  • 特征层面的无偏自然语言理解

    本文提出了一种名为 Debiasing Contrastive Learning (DCT) 的 NLU 去偏置方法，该方法通过对比学习，同时缓解了编码偏置潜在特征和偏置影响的动态性，使用正向采样和动态负向抽样策略选取了最小相似度的偏态样本和动态选择最相似的负向偏态样本，实验表明，DCT 在保持分布内性能的同时，优于最先进的基线算法，在分布之外的数据集上表现出色，并减少了模型表示中的偏置潜在特征。

    Dec, 2022