ACLJun, 2024

PairCFR：通过对比学习增强对配对因果增强数据模型训练

PDF
TL;DR通过对已有数据样本进行最小且充分的修改以改变其标签，Counterfactually Augmented Data (CAD) 创建新的数据样本。与 CAD 训练可以增强模型对与标签相关的偶然特征的鲁棒性相比，最新的研究表明，通过 CAD 训练可能导致模型过分关注修改后的特征，而忽视其他重要的上下文信息，无意中引入可能损害在分布外数据集上性能的偏见。为了缓解这个问题，在学习反事实线索的同时，我们采用对比学习来促进全局特征对齐。我们在两个人工编辑的 CAD 数据集上进行了全面的实验证明，我们提出的方法在分布外数据集上优于现有技术。
发现论文，激发创造
  • 反事实增强数据的有效性研究

    研究表明，尽管预训练语言模型在自然语言理解基准测试上表现出色，但它们往往依赖于虚假的相关性并且对分布外数据的推广效果差，最近的工作探索使用反事实增强数据（CAD）-- 通过最小程度的扰动示例来翻转基本事实标签的数据 -- 来识别在分布移位下不变的强健特征，然而，使用 CAD 进行分布外泛化的实证结果存在异议。

    Jul, 2021

  • 释放反事实增强数据在超出分布的泛化中的潜力

    通过引入两个额外的基于 Counterfactually-Augmented Data 的结构属性约束，从而从 Fisher 的线性判别的角度分析特征空间中的近视现象，本研究发现 Counterfactually-Augmented Data 的潜力没有被充分利用，通过改进的方法，可以提高语言模型的 OOD 泛化能力，进而提高模型性能。

    Oct, 2023

  • 解释反事实增强数据的功效

    本文提出了一种基于因果模型的玩具模型，探讨了因果模型、测量噪声、跨领域泛化以及对虚假信号的依赖之间的有趣关系，并以大规模经验研究为基础，比较了用于创建 CAD 的跨度与关注区域和显著性图所选跨度之间的差异，发现对于 CAD，研究中提出的假说在许多领域和模型中都是显著的。

    Oct, 2020

  • 提高语言模型的超出分布普适能力：反事实增强数据是不够的

    本文研究了 Counterfactually-Augmented Data 对自然语言处理模型的改进作用，发现其普遍存在的近视现象导致了其潜能无法完全被发掘。作者设计了两类新的约束来帮助提取更完整的因果特征，通过情感分析和自然语言推理两个任务来验证该方法，实验结果表明该方法能够释放 CAD 的潜能，并提高模型的 OOD 泛化能力。

    Feb, 2023

  • 通过主动生成成对的反事实，提高分类器的健壮性

    本文提出一种利用对抗生成模型自动生成对抗样本并用成对分类器对其自动标注的框架，通过对仅 10% 人工标注的对抗样本数据进行生成，能有效提高情感分类和问题重述任务等自然语言分类器的 18-20% 稳健性和 14-21% 误差缩减。

    May, 2023

  • 计数事实增益数据如何影响社交计算构造模型？

    研究如何提高自然语言处理模型的稳健性，发现使用对抗性生成数据可以降低模型在错误特征上的依赖，从而提高模型在领域外的泛化性能。

    Sep, 2021

  • CATfOOD：提升跨领域性能和校准性的反事实增强训练

    使用大型语言模型对小型语言模型进行训练数据增强，在抽取式问答系统中改善模型的领域外性能，并提高模型校准的多样性和精简性。

    Sep, 2023

  • 对事实对比学习的鲁棒表达：通过因果图像合成

    利用计数事实图像生成的最新进展，我们提出了 CF-SimCLR，一种反事实对比学习方法，利用近似的反事实推理用于正样本对的创建，在胸部放射学和乳房 X 线检查的五个数据集上进行综合评估，证明 CF-SimCLR 可以显著提高对获得偏移的稳健性，在内部和外部分布的数据上都能获得更高的下游性能，特别是对于在训练过程中少见的领域。

    Mar, 2024

  • 透过对抗事实数据消除性别歧视和仇恨言论检测中的偏差

    研究结论表明：使用 CAD 的模型在面对一些难以处理的数据集时，由于对核心元素进行扰动引入了模型偏见，甚至比原始数据训练的模型误报率更高。使用多样化的 CAD (既有构造驱动又有用于基础特征不变的 CAD) 可以减少此类意外偏差。

    May, 2022

  • 对比学习的反事实数据增强

    引入了一种无模型数据增强方法来解决不同治疗组之间的统计偏差问题，通过学习表示空间和相似度度量，确保接近的个体拥有相似的潜在结果，从而可靠地预测替代治疗组中个体的反事实结局，并有效减小不同治疗组之间的差异，进而提高现有模型的性能和抗过拟合能力的实验研究表明方法具有显著的改进。

    Nov, 2023