EMNLPOct, 2022

自然语言中的所有虚假特征是否相似？通过因果透镜进行分析

PDF
TL;DR本文区分了 NLP 中的 “虚假相关” 中的两种情况（特征对标签的影响是否取决于上下文），并使用因果模型和必要性和充分性概率对其进行了更细致的处理，说明了现有去偏差方法的结果，并揭示了去偏差后模型表示中虚假特征的编码。
spurious correlationsnlpcausal modeldebiasing methodsmodel behavior
发现论文，激发创造
  • 信息量和不变性：自然语言中伪相关性的两个观点

    该论文分析了 Gardner 等人提出的语言的组合性质意味着标签和各自的‘输入特征’之间的所有相关性都是虚假相关性这一提议，在简单的 PCFG 中演示出三种明显的条件可以导致特征 - 标签相关性的产生，论文指出在所有但极少数情况下，输入特征将与标签各自相关，因此需应用领域知识识别可能对鲁棒性构成真正威胁的虚假相关。

    Apr, 2022

  • 机器学习中的虚假相关性：一项调查

    机器学习系统对输入的偏倚特征（例如背景、纹理和次要对象）与相应标签之间的虚假相关性非常敏感。本综述提供了对该问题的全面回顾，以及现有最先进方法的分类体系，用于解决机器学习模型中的虚假相关性。此外，我们总结了现有的数据集、标杆和度量方法，以帮助未来的研究。综述最后讨论了该领域的最新进展和未来的研究挑战，旨在为相关领域的研究人员提供有价值的见解。

    Feb, 2024

  • 鲁棒文本分类中的虚假相关性识别

    本文提出了一种区分文本分类器中误导性和真实关联的方法，将其作为监督分类问题，并利用来自治疗效应估计器的特征，通过特征选择的方法进行更加鲁棒的分类。经过在情感分类和毒性检测等四个数据集上的实验，表明这种方法提高了最坏情况下的准确性和更好的分类效果。

    Oct, 2020

  • 数据和模型中的顽固词汇偏见

    使用新的统计方法检查模型训练过程中的假相关关系，发现即使使用了优化方法来减少数据中的偏差，训练出的模型中仍存在对标签的偏差，影响了自然语言推理和重复问题检测两个任务的性能。

    Jun, 2023

  • 利用反事实增强数据学习具有显著差异的因素

    本文探讨了机器学习中由于混淆而导致的伪相关性问题，通过因果关系提供了明确的概念，并介绍了一种训练模型的方法和资源，可以降低其对伪相关性的敏感度，最终实验表明基于该方法提出的分类器在情感分析和自然语言推理任务上表现出了很好的性能。

    Sep, 2019

  • 从特征角度解决文本数据关联性问题：去除无关信息，提取相关信息

    本文针对自然语言理解领域模型的数据集偏见问题，提出了一种基于特征空间视角的微调方法，使用随机傅里叶特征和加权重采样来解耦特征之间的依赖，并设计了基于互信息的方法来净化这些特征，实验表明该方法优于其他对比方法。

    Feb, 2022

  • 虚假相关性及其发现

    数据驱动的学习中出现虚假相关性，我们通过合并推导虚假相关性的指标，研究它们对基于 ERM 基线模型的影响，并从因果图生成的合成数据集中观察连接这些假设和模型设计选择的模式。

    Aug, 2023

  • 识别和缓解虚假关联，提高自然语言处理模型的鲁棒性

    本研究提出了一种方法，利用解释性方法从文本中提取影响模型决策过程的标记，分析模型在多个语料库上的预测并进一步通过知识感知扰动来区分 ' 真正 ' 的标记和 ' 虚假 ' 标记，有效地识别出一组 ' 捷径 '，从而实现在多个应用中的更加鲁棒的模型。

    Oct, 2021

  • 通过反事实和不变数据生成实现强健的分类模型

    该研究针对机器学习应用中存在的假相关问题，以图像分类为例，提出两种数据生成策略来减少此类问题，并在多个领域的数据集上表现出更好的准确性和更好的解释能力。

    Jun, 2021

  • 控制学习效应以减少文本分类器中的错综相关性

    本文提出了一种利用因果推断的方法实现自动化数据增强，从而减少机器学习模型学习特征和标签之间虚假相关性的问题，并在毒性数据集和 IMDB 评论数据集上得到了明显提升。

    May, 2023