Mar, 2024

对对抗性图像生成方法的基准测试

PDF
TL;DR本文提出了一个综合性框架，旨在评估反事实图像生成方法，并包含了聚焦于反事实的多个方面的评估指标，如组成、有效性、干预的最小性和图像逼真度。通过基于结构因果模型范式的三种不同的条件图像生成模型类型的性能评估，证明了该框架的有效性，并提供了一个用户友好的 Python 软件包，允许进一步评估和比较现有和未来的反事实图像生成方法。该框架可扩展至其他结构因果模型和其他因果方法、生成模型和数据集。
counterfactual image generationcausal relationsevaluation metricsconditional image generation modelstructural causal model
发现论文，激发创造
  • 衡量反事实图像模型的公理准确性

    本研究提出了一个用于评估图像反事实的通用框架，使用深度生成模型学习结构因果模型，重新审视 Pearl 关于反事实公理定义的约束以确定对任何反事实推理模型的必要约束：组合性、可逆性和有效性，并且使用这些约束对反事实进行限制，从而得到了近似函数和理想函数间的距离度量，展示了如何使用这些度量来比较和选择不同的近似反事实推理模型，并揭示模型的不足和权衡。

    Mar, 2023

  • 混淆下的反事实生成

    在机器学习中，当训练数据受到观测或未观测到的混淆影响时，生成的关系可能会与部署时相差较大。本文提出了一种基于因果生成过程的对抗性生成方法，以最小化生成因素之间的关联性，从而生成有效对抗性数据用于训练图像分类器，即使训练数据受到高度混淆的影响。

    Oct, 2022

  • 基于概率因果模型的高保真图像反事实

    本研究提出了一种通用的因果生成建模框架，用于准确估计具有深度结构因果模型的高保真图像反事实情况。

    Jun, 2023

  • 反事实图像编辑

    反事实图像编辑是生成式人工智能中的重要任务，本文提出了一种利用增强的结构因果模型来建模潜在生成因子与图像之间的因果关系，并通过一种新的家族反事实一致估计器对非可识别的反事实分布进行近似，以解决此挑战性问题。

    Feb, 2024

  • 生成式评估的反事实编辑

    提出了一种基于概念而非像素的生成模型评估和解释框架，通过知识驱动的反事实编辑帮助生成图像接近其地面实况条件，并且全局解释能够反映模型无法完全生成的概念和属性，该框架适用于故事可视化和场景合成等繁重任务。

    Mar, 2023

  • 使用反事实推论的因果视角评估和缓解图像分类器中的偏差

    该研究提出了一种利用结构原因模型和 ALI 生成对抗学习算法，生成能满足图像属性之间因果关系约束的反事实例，用于解释和评估神经网络模型的偏差，并使用反事实正则化方法消除分类器训练数据中对皮肤和头发颜色等多维属性的偏见。

    Sep, 2020

  • 利用生成潜空间中的对比可反事实来解释图像分类器

    在不需要重新训练或调整的情况下，使用预训练的生成模型，介绍了生成因果关系和可解释的反事实解释方法，以提供对黑匣子算法的透明性，并获得对面部属性分类器的对比和因果支持和必要分数，从而展示不同属性如何影响分类器输出。

    Jun, 2022

  • 利用反事实图像强化预训练模型

    该论文提出了一种新的框架，通过语言引导生成对抗图片来加强分类模型。通过使用对抗图片数据集来测试模型的弱点，并将对抗图片作为增加的数据集来微调和加固分类模型，研究揭示了使用小规模对抗图片进行微调可以有效增强模型的性能。

    Jun, 2024

  • 反事实生成网络

    通过深度生成建模，我们将图像生成过程分解成独立的因果机制，从而产生反事实图像，提高了模型的新颖性和可解释性。在 MNIST 和 ImageNet 上的实验表明，这些反事实图像能够提高模型的抗干扰性，而且这个模型能在单 GPU 上高效训练。

    Jan, 2021

  • 反事实推理揭示深度生成模型模块化结构

    本研究提出了一种非统计框架，它使用反事实干预来揭示由解缠组成的网络的模块化结构，以便操纵潜在表示以执行有意义和可控的变换。通过在复杂图像数据集上训练各种生成模型进行实验，表明所获得的模块可用于设计目标干预，从而在风格转换和自动评估对环境变化的稳健性等领域开展应用。

    Dec, 2018