反应性模型修正：通过条件偏差抑制缓解对任务相关特征的危害

Apr, 2024

反应性模型修正：通过条件偏差抑制缓解对任务相关特征的危害

Reactive Model Correction: Mitigating Harm to Task-Relevant Features via Conditional Bias Suppression

Dilyara Bareeva, Maximilian Dreyer, Frederik Pahde, Wojciech Samek, Sebastian Lapuschkin

TL;DR深度神经网络在训练数据中容易学习和依赖偶然相关性，但是对高风险应用而言，这可能导致致命后果。我们提出了一种基于模型知识和可解释人工智能（XAI）的反应性方法来减少模型对有害特征的依赖。通过引入反应性，我们演示了在 P-ClArC（Projective Class Artifact Compensation）中的具体实现方法 R-ClArC（Reactive Class Artifact Compensation），通过在控制环境（FunnyBirds）和现实世界数据集（ISIC2019）上进行严格实验，我们展示了引入反应性可以最小化应用修正的不利影响，同时确保对偶然特征的依赖程度较低。

Abstract

deep neural networks are prone to learning and relying on spurious correlations in the training data, which, for high-risk applications, can have fatal consequences. Various approaches to suppress model reliance on harmful features have been proposed that can be applied post-hoc withou

deep neural networks spurious correlations harmful features reactive approach latent features

发现论文，激发创造

控制学习效应以减少文本分类器中的错综相关性

本文提出了一种利用因果推断的方法实现自动化数据增强，从而减少机器学习模型学习特征和标签之间虚假相关性的问题，并在毒性数据集和 IMDB 评论数据集上得到了明显提升。

May, 2023

揭示以修正：一种可解释的 AI 生命周期，用于深度模型的迭代偏差校正

提出了一个名为 Reveal to Revise（R2R）的框架，通过整个可解释人工智能（XAI）生命周期，使从业人员能够迭代地识别、减轻并重新评估模型的表现，从而解决模型中学习的伪相关性对高风险决策（如皮肤癌检测）的风险。

Mar, 2023

贝叶斯神经网络后验估计尖化对隐性视觉偏差的缓解

这篇论文提出了一种基于贝叶斯神经网络的去偏方法，通过刻画后验概率与数据偏差 (or 伪相关性) 之间的关系，利用高确信性的核心特征代替不确定性高的特征，从而提高了模型的公平性和准确性。

Mar, 2023

消除伪关联中的去偏性反事实

在这项工作中，我们介绍了第一个端到端训练框架，该框架同时整合了（i）用于避免附着在假象相关性上的流行去偏置分类器（例如分布鲁棒优化（DRO））和（ii）用于揭示与任务相关的可推广成像标记的反事实图像生成。此外，我们提出了一种新的度量标准，即假象相关性附着分数（SCLS），用于量化分类器依赖假象相关性的程度，该程度由反事实图像揭示。通过对两个公共数据集进行全面实验（包括模拟和真实视觉伪迹），我们证明了去偏置方法：（i）能够学习到可推广的标记，并且（ii）成功忽略假象相关性，专注于潜在的疾病病理。

Aug, 2023

分类任务的常识偏见发现与缓解

基于图像描述提取特征聚类的框架，发现数据集中的敏感关联性，通过调整图像采样权重减轻下游模型偏差问题。

Jan, 2024

从希望到安全：通过在潜空间中强制执行正确的原因来纠正深度模型的偏见

通过减少模型对偏见的敏感性，我们提出了一种在概念层面上确保正确原因的新方法，通过梯度来建模偏见，通过选择稳健的方向来减少模型对偏见的影响，并在 ISIC、Bone Age、ImageNet 和 CelebA 数据集上使用 VGG、ResNet 和 EfficientNet 架构，在受控和实际环境中有效地减轻偏见。

Aug, 2023

基于解释的反事实重训练（XCR）：黑盒模型校准方法

本文提出了一种新的基于解释的反事实训练方法，即 eXplanation-based Counterfactual Retraining (XCR)，通过提取特征重要性来优化黑盒模型，解决了解释性人工智能的 Out-of-Distribution 问题和社会不协调问题，并在流行的图像数据集和数据损坏基准数据集中进行了实证研究，证明其有效性。

Jun, 2022

少学习捷径：分析和减轻虚假特征 - 标签相关性的学习

本文研究深度神经网络中数据集偏差对任务的影响。通过具体分析特征和标签之间的虚假相关性的来源，本文提出了一种训练策略，即通过量化偏置的程度来调整偏置示例的权重，以减少模型过度依赖数据集偏差的情况，并在 QM 和 NLI 任务上得到了表现的提高。

May, 2022

简洁为上：恢复意图特征子空间以提高自然语言理解模型鲁棒性

该研究提出了一种新模型 RISK，旨在利用特征空间来避免偏见，而不是依赖于预先定义的偏见属性，取得了最新的最好性能，并能提高模型的泛化能力。

Sep, 2022

纠正机器遗忘

机器学习模型面对大规模互联网数据集引起的数据完整性挑战，本研究探讨在检测到数据被篡改或错误时模型开发者能够做出的应对措施。我们将 “修正机器遗忘” 定义为解决训练模型中受未知篡改影响数据的问题，尽管只能知道受影响样本的一个小部分。我们发现修正遗忘问题与传统的注重隐私的遗忘方法有显著不同的要求。我们希望我们的工作能促进对修正遗忘方法的研究，为处理来自于大规模网络训练带来的数据完整性挑战的从业者提供新的策略。

Feb, 2024