基于快速扩散的去除和生成捷径的对抗样本

Dec, 2023

基于快速扩散的去除和生成捷径的对抗样本

Fast Diffusion-Based Counterfactuals for Shortcut Removal and Generation

Nina Weng, Paraskevas Pegios, Aasa Feragen, Eike Petersen, Siavash Bigdeli

TL;DR通过快速扩散基于反事实的图像生成和基于修补的修改方法，我们检测和量化潜在的捷径特征对模型预测的影响。我们通过在两个大型胸部 X 射线数据集、一个皮肤病损数据集和 CelebA 上确认，验证了我们的方法在推理速度显著提升、图像质量与最先进技术可比的同时的有效性。

Abstract

shortcut learning is when a model -- e.g. a cardiac disease classifier -- exploits correlations between the target label and a spurious shortcut feature, e.g. a pacemaker, to predict the target label based on the

shortcut learning spurious shortcut feature counterfactual image generation inpainting-based modification model predictions

发现论文，激发创造

使用反事实频率（CoF）表揭示图像分类器的捷径

深度学习中的短路问题及可解释 AI 的解决方案：引入反事实频率表的方法将示例级解释汇总成全局洞见，揭示所学习到的短路。

May, 2024

公正视觉识别的良性快捷方式：通过快捷特征介入进行去偏

机器学习模型中，为了解决与种族和性别等社会属性相关的公平性风险问题，我们提出了一种名为 "Shortcut Debiasing" 的方法，通过设计控制性的替代特征来代替偏见特征，在训练阶段利用这些特征来提高目标任务的学习，并在推断阶段通过干预来消除这些特征，从而在准确性和公平性方面实现了显著改善。

Aug, 2023

消除伪关联中的去偏性反事实

在这项工作中，我们介绍了第一个端到端训练框架，该框架同时整合了（i）用于避免附着在假象相关性上的流行去偏置分类器（例如分布鲁棒优化（DRO））和（ii）用于揭示与任务相关的可推广成像标记的反事实图像生成。此外，我们提出了一种新的度量标准，即假象相关性附着分数（SCLS），用于量化分类器依赖假象相关性的程度，该程度由反事实图像揭示。通过对两个公共数据集进行全面实验（包括模拟和真实视觉伪迹），我们证明了去偏置方法：（i）能够学习到可推广的标记，并且（ii）成功忽略假象相关性，专注于潜在的疾病病理。

Aug, 2023

个性化扩散模型中的快速学习探究与防御

通过捷径学习视角细致观察个性化扩散模型的微调过程，提出了一种能解释现有扰动方法基本捷径学习漏洞的假设。基于这一观察，提出了一种系统性方法来保持训练绩效并通过纯化重排潜在图像和其语义含义，还引入了负令牌的对比学习，以解耦所需的干净身份学习和不需要的噪声模式，对进一步适应性扰动显示出强大的潜力能力。

Jun, 2024

扩散因果模型用于反事实估计

提出 Diff-SCM 来解决如何从观察到的成像数据中估计反事实效果的问题，使用深度结构因果模型和生成式能量模型相结合的方法进行推理，并且在 MNIST 数据和 ImageNet 数据上证明了其优越性。

Feb, 2022

健康是什么？用生成对抗扩散定位损伤的方法

本文提出一种使用生成扩散概率模型生成反事实图来推断脑病变像素级预测的方法，并且通过隐含指导和注意力调节来操作生成过程，从而提升了之前的方法。

Jul, 2022

反事实解释的扩散模型

本论文提出 DiME 方法，在使用最近传播模型的同时利用引导生成扩散过程，充分利用目标分类器的梯度生成输入实例的反事实解释，进一步通过提出一个新的度量标准 —— 相关差异，分析了目前评估虚假相关性的方法，并进行实验验证，结果表明该算法在 CelebA 上优于之前的最新研究成果。

Mar, 2022

利用扩散分解表示缓解不完全规定的视觉任务中的捷径

通过使用扩散概率模型生成合成的反事实情况，我们提出了一种集成多样化框架，用于处理数据中的错误相关性和捷径学习现象，实验证明扩散引导的多样化能够使模型避开捷径线索，获得与额外数据采集方法相当的集成多样性性能。

Oct, 2023

借助反事实知识蒸馏来纠正 Clever-Hans 预测器

本文介绍了一种被称为反事实知识蒸馏 (CFKD) 的新技术，通过人类专家反馈帮助检测和消除深度学习模型对混淆因素的依赖。该技术在受监管或安全关键领域有着重要作用，论文还展示了反事实解释相对于其他类型解释的优点，并提出了一个实验方案来定量评估 CFKD 的成功情况以及能够对模型提供反馈的不同教师。同时还引入了一个与真实测试性能更相关的新度量方式。通过在合成增强数据集和真实组织病理学数据集上进行的实验，论文证明了 CFKD 的有效性。

Oct, 2023

医学图像分割中的快速学习

研究通过探索临床注释以及数据集中的零补齐卷积和中心裁剪训练集等因素如何无意中成为快捷方式对医学图像分割准确性产生影响，并确定并评估了两个常见的医学图像分割任务中的快捷方式学习。此外，提出了减轻快捷方式学习影响、提高分割模型普适性的策略，并为评估和克服医学图像分割中普遍存在的挑战提供了见解和方法。

Mar, 2024