表示插值的反事实对抗学习

EMNLPSep, 2021

Counterfactual Adversarial Learning with Representation Interpolation

Wei Wang, Boxin Wang, Ning Shi, Jinfeng Li, Bingyu Zhu...

TL;DR本文提出了一个基于因果关系的 Counterfactual Adversarial Training 框架（CAT），通过对单个样本生成对应的反事实表示，动态调整样本特有的损失权重，以此鼓励模型探索真实的因果关系，实现在句子分类、自然语言推理和问答等领域的显著性能提升。

Abstract

deep learning models exhibit a preference for statistical fitting over logical reasoning. Spurious correlations might be memorized when there exists statistical bias in training data, which severely limits the model performance especially in small data scenarios. In this work, we intro

deep learning counterfactual adversarial training causality sample-wise loss weight performance improvement

发现论文，激发创造

对比学习的反事实数据增强

引入了一种无模型数据增强方法来解决不同治疗组之间的统计偏差问题，通过学习表示空间和相似度度量，确保接近的个体拥有相似的潜在结果，从而可靠地预测替代治疗组中个体的反事实结局，并有效减小不同治疗组之间的差异，进而提高现有模型的性能和抗过拟合能力的实验研究表明方法具有显著的改进。

Nov, 2023

利用对抗样本进行偏见缓解和准确性增强

利用对抗生成和微调的新方法来减轻计算机视觉模型中的偏见，通过使用欺骗深度神经网络但不欺骗人类的对抗图像作为反事实进行公正模型训练，通过 qualitatively 和 quantitatively 的评估证明了相比于现有方法，我们的方法实现了改进的偏见减轻和准确性。

Apr, 2024

课程对抗训练

本文提出课程对抗性训练 (CAT) 的方法，通过产生一系列攻击强度不同的对抗性样本，使用两种技术解决模型遗忘和泛化问题，并证明 CAT 方法可以将 CIFAR-10 和 SVHN 的经验最坏情况精度大幅提高 25% 和 35%。同时，在非对抗性输入上，该模型的表现与现有最先进模型相当。

May, 2018

对抗分布平衡与反事实推理

提出了适用于反事实推理的对抗分布平衡法（ADBCR），通过直接使用反事实估计结果来消除假性因果关系，证明了其在三个基准数据集上优于现有方法，并证明如果在训练过程中包含未标记的验证数据，可以进一步改进 ADBCR 的性能。

Nov, 2023

通过自训练增强反事实分类

本文提出了一种基于自训练和伪标记的方法，将观察数据中的有限未见行动的结果用分类值进行插值，以模拟随机试验的结果，并解决传统监督学习不可用的问题，应用到计价、在线营销、精准医疗等领域。

Dec, 2021

混淆下的反事实生成

在机器学习中，当训练数据受到观测或未观测到的混淆影响时，生成的关系可能会与部署时相差较大。本文提出了一种基于因果生成过程的对抗性生成方法，以最小化生成因素之间的关联性，从而生成有效对抗性数据用于训练图像分类器，即使训练数据受到高度混淆的影响。

Oct, 2022

通过反事实例和梯度监督学习区分重要因素

使用对照例子作为监督信号，改进深度学习的训练方法，提高神经网络的泛化能力及性能。

Apr, 2020

消除伪关联中的去偏性反事实

在这项工作中，我们介绍了第一个端到端训练框架，该框架同时整合了（i）用于避免附着在假象相关性上的流行去偏置分类器（例如分布鲁棒优化（DRO））和（ii）用于揭示与任务相关的可推广成像标记的反事实图像生成。此外，我们提出了一种新的度量标准，即假象相关性附着分数（SCLS），用于量化分类器依赖假象相关性的程度，该程度由反事实图像揭示。通过对两个公共数据集进行全面实验（包括模拟和真实视觉伪迹），我们证明了去偏置方法：（i）能够学习到可推广的标记，并且（ii）成功忽略假象相关性，专注于潜在的疾病病理。

Aug, 2023

对事实对比学习的鲁棒表达：通过因果图像合成

利用计数事实图像生成的最新进展，我们提出了 CF-SimCLR，一种反事实对比学习方法，利用近似的反事实推理用于正样本对的创建，在胸部放射学和乳房 X 线检查的五个数据集上进行综合评估，证明 CF-SimCLR 可以显著提高对获得偏移的稳健性，在内部和外部分布的数据上都能获得更高的下游性能，特别是对于在训练过程中少见的领域。

Mar, 2024

利用反事实情况测量和改善对部分输入的专注力

数据集中的伪相关性对于 NLP 模型在未见数据上的泛化性造成了影响。我们提出了一种新的评估方法，Counterfactual Attentiveness Test (CAT)，通过使用反事实推理来检测模型的注视变化。 CAT 的结果显示，对这种相关性的依赖主要受数据影响，并且通过引入反事实推理可以改善模型的注视能力。

Nov, 2023