AAAIDec, 2022

特征层面的无偏自然语言理解

PDF
TL;DR本文提出了一种名为 Debiasing Contrastive Learning (DCT) 的 NLU 去偏置方法，该方法通过对比学习，同时缓解了编码偏置潜在特征和偏置影响的动态性，使用正向采样和动态负向抽样策略选取了最小相似度的偏态样本和动态选择最相似的负向偏态样本，实验表明，DCT 在保持分布内性能的同时，优于最先进的基线算法，在分布之外的数据集上表现出色，并减少了模型表示中的偏置潜在特征。
natural language understandingdebiasing contrastive learningdataset biasespositive sampling strategynegative sampling strategy
发现论文，激发创造
  • 自然语言理解中的去偏方法使得偏见更容易被接受

    通过提出一种基于探究的框架，研究了自然语言理解中的偏见修正方法。结果表明，推迟偏见的方法会导致更多的偏见被编码到模型的内部表示中。

    Sep, 2021

  • 注重权衡：在不损害内部分布性能的情况下去偏向自然语言理解模型

    本文介绍了一种名为置信度正则化的新型去偏方法，旨在提高自然语言理解任务模型对于越界数据的表现，同时保持对内界数据的准确度。实验表明，与之前的方法相比，该方法在提高模型对越界数据的表现方面具有更好的效果。

    May, 2020

  • 通过建模语料库中的偏见进行端到端偏见缓解

    本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。

    Sep, 2019

  • 消除自然语言理解模型中的未知偏见

    本文提出了一种自我去偏方法，以减少 NLU 模型在不事先知道偏差情况下利用偏差的趋势，并表明此方法不仅具有一般性和互补性，而且还能提高模型的整体鲁棒性。

    Sep, 2020

  • Transformer 模型的简单有效的自我去偏见框架

    本文提出了一种基于 Current Transformer 的 NLU 的自校正框架，该框架可以减少来自数据集偏见的干扰，从而提高对 Out of Distribution 数据的处理能力。

    Jun, 2023

  • 端到端自校准框架用于稳健的 NLU 训练

    通过引入一种简单而有效的去偏置框架，利用主模型的浅层表示来推导一个偏置模型，并同时训练两个模型，我们在三个广泛研究的自然语言理解任务中演示了该方法的有效性，尽管其简单性，但其在越界测试集上表现不俗，明显优于其他去偏执方法，并且仍然能够提供高性能的内分布结果。

    Sep, 2021

  • 无监督句子表示的去偏置对比学习

    该研究提出了一种名为 DCLR 的新框架，使用实例加权的方法惩罚误判造成的假负样本，并产生基于噪声的负样本，以确保表示空间的均匀性，提高自监督学习中的句子表示质量，并在七个语义文本相似性任务中实现了显著性能提升。

    May, 2022

  • 针对词汇数据集偏差提高 NLI 模型的鲁棒性

    本文探讨了深度学习模型在自然语言推理方面存在数据偏见的现象，并提出了数据级和模型级去偏见的方法，实验表明采用正交性方法可以更好地去偏见且保持高准确率。

    May, 2020

  • 无偏监督对比学习

    本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

    Nov, 2022

  • 通过解缠分特征增强学习无偏表示

    本研究提出了一种基于特征级数据增广技术的去偏方法，通过使培训数据多样化，可以更有效地消除图像分类模型中偏见的影响。

    Jul, 2021