May, 2021

对抗干扰因素的反事实不变性：如何通过压力测试

PDF
TL;DR本文通过对原因推断的工具进行研究，介绍了反事实不变性作为对无关输入部分进行更改时不应改变模型预测的要求的一个形式化。同时，提供了学习（近似）反事实不变预测器的实用方案，并对文本分类进行了实证研究。
spurious correlationstress testingcausal inferencecounterfactual invariancetext classification
发现论文，激发创造
  • 通过反事实和不变数据生成实现强健的分类模型

    该研究针对机器学习应用中存在的假相关问题，以图像分类为例，提出两种数据生成策略来减少此类问题，并在多个领域的数据集上表现出更好的准确性和更好的解释能力。

    Jun, 2021

  • 利用反事实增强数据学习具有显著差异的因素

    本文探讨了机器学习中由于混淆而导致的伪相关性问题，通过因果关系提供了明确的概念，并介绍了一种训练模型的方法和资源，可以降低其对伪相关性的敏感度，最终实验表明基于该方法提出的分类器在情感分析和自然语言推理任务上表现出了很好的性能。

    Sep, 2019

  • 信息量和不变性：自然语言中伪相关性的两个观点

    该论文分析了 Gardner 等人提出的语言的组合性质意味着标签和各自的‘输入特征’之间的所有相关性都是虚假相关性这一提议，在简单的 PCFG 中演示出三种明显的条件可以导致特征 - 标签相关性的产生，论文指出在所有但极少数情况下，输入特征将与标签各自相关，因此需应用领域知识识别可能对鲁棒性构成真正威胁的虚假相关。

    Apr, 2022

  • 反事实不变性的结果

    本文从理论角度分析了反事实不变性的各种定义及其相关性，包括条件独立性是否能证明其强弱程度和可能性。 针对离散因果模型，我们证明了反事实不变函数通常只能是特定变量的函数，甚至是常数。

    Jul, 2023

  • 通过自动生成的反事实情况实现文本分类中对伪相关性的鲁棒性

    通过增加具有相反特性和标签的反事实数据来训练鲁棒的文本分类器，以强化模型可靠性和泛化性，实验证明，其在人工生成对照样本和原始测试数据上表现出较高的鲁棒性和精准度。

    Dec, 2020

  • 反事实标准化：采用因果机制积极应对数据集变化以及提高可靠性

    通过使用因果机制的图形知识，识别具有不稳定的统计影响路径的变量并将其从模型中删除，同时使用潜在反事实变量来隔离不稳定的统计影响路径，可以改进模型的泛化能力和可靠性。

    Aug, 2018

  • 混淆下的反事实生成

    在机器学习中，当训练数据受到观测或未观测到的混淆影响时，生成的关系可能会与部署时相差较大。本文提出了一种基于因果生成过程的对抗性生成方法，以最小化生成因素之间的关联性，从而生成有效对抗性数据用于训练图像分类器，即使训练数据受到高度混淆的影响。

    Oct, 2022

  • 自然语言中的所有虚假特征是否相似？通过因果透镜进行分析

    本文区分了 NLP 中的 “虚假相关” 中的两种情况（特征对标签的影响是否取决于上下文），并使用因果模型和必要性和充分性概率对其进行了更细致的处理，说明了现有去偏差方法的结果，并揭示了去偏差后模型表示中虚假特征的编码。

    Oct, 2022

  • 重新思考混淆条件下的反事实数据增强

    本研究提出了利用反事实数据扩充改善机器学习模型中混淆偏差的方法，并探讨了混淆偏差如何影响下游分类器以及基于反事实数据增强的解决方案。另外，我们还介绍了一种生成反事实图片的算法，并在 MNIST 变量和 CelebA 数据集上进行实验，证明了我们的方法的有效性和实用性。

    May, 2023

  • 利用反事实对齐方法识别虚假相关性

    通过计算输入不同分类器后输出的响应之间的关系，我们提出了反事实对齐方法来检测和探索黑盒分类器中的虚假相关性，并验证了在人脸属性分类器中检测到虚假相关性的能力，同时证明了可以通过 CF 对齐方法纠正分类器中检测到的虚假相关性。

    Dec, 2023