Jul, 2022

CA-SpaceNet：空间 6D 姿态估计的反事实分析

PDF
TL;DR本文提出了一种反事实分析框架（CASpaceNet），旨在完成在复杂背景下的空间目标的强健 6D 姿态估计，通过采用常规方法从实际图像中提取特征，同时在反事实情况下想象出一幅不存在目标但只有背景的虚构图像，以减少背景干扰引起的副作用，从而得出无偏预测的最终结果；此外，对 CASpaceNet 进行了低位宽量化，并将其部署到 FPGA 上的处理内存（PIM）加速器中，定性和定量结果证明了我们提出的方法的有效性和效率。
发现论文，激发创造
  • 基于概率因果模型的高保真图像反事实

    本研究提出了一种通用的因果生成建模框架，用于准确估计具有深度结构因果模型的高保真图像反事实情况。

    Jun, 2023

  • 利用生成潜空间中的对比可反事实来解释图像分类器

    在不需要重新训练或调整的情况下，使用预训练的生成模型，介绍了生成因果关系和可解释的反事实解释方法，以提供对黑匣子算法的透明性，并获得对面部属性分类器的对比和因果支持和必要分数，从而展示不同属性如何影响分类器输出。

    Jun, 2022

  • 使用反事实推论的因果视角评估和缓解图像分类器中的偏差

    该研究提出了一种利用结构原因模型和 ALI 生成对抗学习算法，生成能满足图像属性之间因果关系约束的反事实例，用于解释和评估神经网络模型的偏差，并使用反事实正则化方法消除分类器训练数据中对皮肤和头发颜色等多维属性的偏见。

    Sep, 2020

  • 检测意外偏差的图像反事实敏感性分析

    本研究提出了一种名为图像反事实敏感性分析的框架，利用生成对抗网络建立一个面部图像的真实生成模型，以控制性地操作特定的图像特征，从而发现并检测面部分类器中的偏见和公平性。

    Jun, 2019

  • OCTET: 基于对象的反事实解释

    本研究提出了一种以物体为中心的框架来生成反事实解释，该方法通过将查询图像编码到潜在空间中，以便在物体级别上进行操作，并且可以适用于驾驶场景的反事实解释基准测试，并且设计并运行了用户研究以衡量反事实解释在理解决策模型方面的有用性。

    Nov, 2022

  • 通过反事实学习减轻弱监督目标定位中的偏置激活

    本文研究基于类激活映射（CAM）的弱监督物体定位方法中偏置激活的问题，分析了其原因，基于此设计了一个新的 Counterfactual Co-occurring Learning（CCL）范例，并将 Counterfactual-CAM 集成进了模型中，通过合理设计网络结构，成功地减少了干扰信息的影响，并在多个基准测试中实现了精确的物体定位。

    May, 2023

  • STEEX: 带有语义信息的反事实解释调节器

    本文提出了一种新型的生成式反事实性解释框架，旨在生产可信度高、修改最小、保留结构的高质量图像。同时介绍了 “针对区域的反事实性解释” 概念和相应框架，通过指定图像的语义区域来指导反事实性产生，证明了该框架在高质量人像和复杂场景等数据集上的有效性。

    Nov, 2021

  • 使用反事实模拟测试发现变压器和卷积神经网络之间的差异

    本研究提出了反事实模拟测试的框架，并使用构建的逼真合成场景研究深度神经网络对特定情景变化的鲁棒性问题，发现随着网络规模和数据规模多样性的增加，所有网络的鲁棒性均有所提高，并通过对比发现 ConvNext 对姿态和尺度变化更加鲁棒，而 Swin 对部分遮挡更加鲁棒，同时发布了包含 272k 张自然变形的对象图片的数据集（NVD）

    Nov, 2022

  • ObjectDrop：用于真实对象移除和插入的引导反事实

    通过分析自我监督方法的局限性，我们提出了一种以 “反事实” 数据集为中心的实用解决方案，用于对扩散模型进行微调，实现不仅移除对象还能消除其对场景的影响，该方法在逼真的对象插入和去除方面显著优于以前的方法。

    Mar, 2024

  • CoSIm：针对反事实场景想象的常识推理

    本文介绍了一个名为 Commonsense Reasoning for Counterfactual Scene Imagination (CoSIm) 的新任务 / 数据集，该任务 / 数据集旨在评估 AI 系统推理场景变化想象的能力。这篇论文提供了 3.5K 个高质量且具有挑战性的数据实例，其中包含各种复杂的场景变化类型，并且提出了一种基于视觉语言 Transformer 的基线模型和消融研究。

    Jul, 2022