因果关注用于无偏视觉识别

ICCVAug, 2021

Causal Attention for Unbiased Visual Recognition

Tan Wang, Chang Zhou, Qianru Sun, Hanwang Zhang

TL;DR本文提出了一种因果关系注意力模块，通过自我注释来识别难以预测的混淆变量，从而使深度学习模型更好地处理在分布不同的情况下仍具备鲁棒性的因果特征，不仅解决了监督注释需要高昂成本、混淆变量难以抽象提取等问题，并在相应实验中得到了卓越的结果。

Abstract

Attention module does not always help deep models learn causal features that are robust in any confounding context, e.g., a foreground object feature is invariant to different backgrounds. This is because the confounders trick the attention to capture spurious correlations that benefit

causal attention module spurious correlations out-of-distribution unsupervised learning visual saliency

发现论文，激发创造

视觉语言任务的因果关注

本文提出了一种新颖的注意力机制 Causal Attention (CATT)，用于消除现有基于注意力的视觉语言模型中一直存在的混淆效应，CATT 可替换任何注意力模块，可大幅提高各种流行的注意力模型的性能，尤其在大规模预训练中具有潜力。

Mar, 2021

因果关注力用于可解释和可泛化的图分类

本研究提出 Causal Attention Learning (CAL) 策略，利用因果推断来处理图分类过程中存在的 confounding effect of shortcuts，该方法借助注意力模块估计因果特征和快捷特征，并对因果理论进行参数化背门调整。实验结果表明，CAL 策略在合成和真实数据集上均取得了良好的效果。

Dec, 2021

用于人员识别的交叉关注网络

本文提出了一种名为 CCA 的注意力模块，旨在通过最大化不同注意区域之间的信息增益来克服以前的限制，并提出了一种新的深层网络，利用不同的注意力机制学习人物图像的强鲁棒性和判别表现，得到的模型被称为 CCAN，大量实验证明 CCAN 在人物重新识别任务上优于当前状态下的最先进算法。

Jun, 2020

基于演员条件的视频行动检测的注意力地图

本研究提出使用注意力模块中的演员条件化关注映射（ACAM）代替兴趣区域池化，以实现针对特定演员的动作定位，并利用预训练的物体检测器进行物体检测，从而在 AV2.1 和 JHMDB 数据集上获得明显改进。

Dec, 2018

基于因果推断的图神经网络注意力监察：通往强大注意力的更好和更简单选择

本文介绍了一种新的框架，利用因果关系工具为学习注意力函数的过程提供强有力的监督信号，可用于任何基本的基于注意力的图神经网络，并在广泛的基准数据集上进行了验证。

May, 2023

学会关注

通过加入可训练的注意力模块，使得卷积神经网络在进行图像分类时能够更好地聚焦于感兴趣的区域，进一步提高了模型的稳健性。

Apr, 2018

关注激活：用于细粒度图像识别的模块化注意机制

本文提出利用注意力机制在卷积特征激活层面上进行细粒度图像识别，相对于传统方法，在不需要部分标注的情况下使用低层次特征进行输出概率分配，并在 CIFAR-10、Adience gender recognition task、Stanford Dogs 和 UEC-Food100 等数据集上取得了最先进的分类精度。

Jul, 2019

GCAM：食品细粒度识别的高斯和因果注意模型

采用高斯和因果关注模型进行细粒度目标识别，使用反事实推理方法解决数据漂移问题，设计可学习的损失策略提高目标识别的准确性。在四个相关数据集上验证了方法，展示了其出色的性能。对于 ETH-FOOD101、UECFOOD256 和 Vireo-FOOD172 数据集，该方法超过了最先进方法；此外，该方法在 CUB-200 数据集上也达到了最新技术水平。

Mar, 2024

通过可视化因果关注实现自动驾驶车辆的可解释性学习

本研究探讨了可解释的自动驾驶车辆中使用视觉解释的方法，使乘客、保险公司、执法机构和开发人员能够理解神经网络控制模型的行为，该模型采用了视觉关注模型进行训练，并应用因果过滤步骤来确定哪些输入区域实际上影响了输出。该方法在三个数据集上进行了有效性研究，证明了其在自动驾驶行为和人类驾驶行为中的应用价值。

Mar, 2017

微妙的图像扰动对定制扩散模型造成更高影响

通过观察到交叉注意力层对梯度变化更加敏感，我们提出了一种简单但通用且高效的方法 CAAT，用于有效地欺骗潜在扩散模型 (LDMs)。我们展示了对图像的微小扰动可以显著影响交叉注意力层，从而在定制扩散模型的微调过程中改变文本与图像之间的映射关系。大量的实验证明，CAAT 与各种扩散模型兼容，并以更有效（更多的噪声）和更高效（比 Anti-DreamBooth 和 Mist 快两倍）的方式优于基线攻击方法。

Apr, 2024