基于因果结构的文本 OOD 泛化的增强

Oct, 2023

基于因果结构的文本 OOD 泛化的增强

Causal-structure Driven Augmentations for Text OOD Generalization

Amir Feder, Yoav Wald, Claudia Shi, Suchi Saria, David Blei

TL;DR通过使用反事实数据增强、基于数据的因果结构模拟对虚假特征的干预，以及采用大型语言模型来表示文本的条件概率，该论文介绍了一种改善文本分类器鲁棒性的方法，并通过在医疗叙述和半合成数据上进行广泛实验，证明了该方法对改善模型的预测能力具有积极效果。

Abstract

The reliance of text classifiers on spurious correlations can lead to poor generalization at deployment, raising concerns about their use in safety-critical domains such as healthcare. In this work, we propose to

text classifiers spurious correlations counterfactual data augmentation causal structure learning algorithms

发现论文，激发创造

通过自动生成的反事实情况实现文本分类中对伪相关性的鲁棒性

通过增加具有相反特性和标签的反事实数据来训练鲁棒的文本分类器，以强化模型可靠性和泛化性，实验证明，其在人工生成对照样本和原始测试数据上表现出较高的鲁棒性和精准度。

Dec, 2020

反事实增强数据的有效性研究

研究表明，尽管预训练语言模型在自然语言理解基准测试上表现出色，但它们往往依赖于虚假的相关性并且对分布外数据的推广效果差，最近的工作探索使用反事实增强数据（CAD）-- 通过最小程度的扰动示例来翻转基本事实标签的数据 -- 来识别在分布移位下不变的强健特征，然而，使用 CAD 进行分布外泛化的实证结果存在异议。

Jul, 2021

提高语言模型的超出分布普适能力：反事实增强数据是不够的

本文研究了 Counterfactually-Augmented Data 对自然语言处理模型的改进作用，发现其普遍存在的近视现象导致了其潜能无法完全被发掘。作者设计了两类新的约束来帮助提取更完整的因果特征，通过情感分析和自然语言推理两个任务来验证该方法，实验结果表明该方法能够释放 CAD 的潜能，并提高模型的 OOD 泛化能力。

Feb, 2023

CATfOOD：提升跨领域性能和校准性的反事实增强训练

使用大型语言模型对小型语言模型进行训练数据增强，在抽取式问答系统中改善模型的领域外性能，并提高模型校准的多样性和精简性。

Sep, 2023

利用反事实增强数据学习具有显著差异的因素

本文探讨了机器学习中由于混淆而导致的伪相关性问题，通过因果关系提供了明确的概念，并介绍了一种训练模型的方法和资源，可以降低其对伪相关性的敏感度，最终实验表明基于该方法提出的分类器在情感分析和自然语言推理任务上表现出了很好的性能。

Sep, 2019

最大化利用少量反事实增强情感分类鲁棒性

针对文本分类任务中的模型过度依赖模式数据的问题，本文提出了一种新的解决方案，使用编码向量空间的自动生成机制减少新数据生成的人工成本，只需对原始训练数据的一小部分（例如 1％）进行注释即可获得明显的准确性改进。实验证明，该方法对情感分类有效，并在使用 IMDb 数据进行训练和 Amazon、SemEval 和 Yelp 等其他数据集进行 OOD 测试时，仅添加 1％手动反事实数据即可获得 + 3％的准确性提升，相比于添加 100％的训练样本和其他反事实方法比较，准确性提高了 1.3％。

Oct, 2022

释放反事实增强数据在超出分布的泛化中的潜力

通过引入两个额外的基于 Counterfactually-Augmented Data 的结构属性约束，从而从 Fisher 的线性判别的角度分析特征空间中的近视现象，本研究发现 Counterfactually-Augmented Data 的潜力没有被充分利用，通过改进的方法，可以提高语言模型的 OOD 泛化能力，进而提高模型性能。

Oct, 2023

深度神经网络的隐式反事实数据增强

本文提供了一种名为 ICDA 的隐式反事实数据增强方法，通过生成具有不同扩展强度的深度特征来打破假象的关联，并从正则化方面解释了这种方法，结果表明我们的方法在许多需要越区域概括的典型学习场景上始终提高了流行深度网络的泛化性能。

Apr, 2023

解释反事实增强数据的功效

本文提出了一种基于因果模型的玩具模型，探讨了因果模型、测量噪声、跨领域泛化以及对虚假信号的依赖之间的有趣关系，并以大规模经验研究为基础，比较了用于创建 CAD 的跨度与关注区域和显著性图所选跨度之间的差异，发现对于 CAD，研究中提出的假说在许多领域和模型中都是显著的。

Oct, 2020

重新思考混淆条件下的反事实数据增强

本研究提出了利用反事实数据扩充改善机器学习模型中混淆偏差的方法，并探讨了混淆偏差如何影响下游分类器以及基于反事实数据增强的解决方案。另外，我们还介绍了一种生成反事实图片的算法，并在 MNIST 变量和 CelebA 数据集上进行实验，证明了我们的方法的有效性和实用性。

May, 2023