本文提出了一个名为 Slot Attention 的架构组件，它能够从低级感知特征中提取物体为中心的表示，并能够推广到未见组合。

Jun, 2020

本文提出了一种新的基于注意力机制的可解释性方法，通过计算 Transformer 模型中与分类任务相关部分的注意力系数分布来评估每个单词的可解释性得分，实验结果证明这种方法在提供解释方面与常规方法相当。研究还发现，自注意力可以包含丰富的信息来解释 Transformer 分类器。

Mar, 2023

通过 Saccader 硬关注模型，基于类标签和策略梯度优化算法，准确分类图像并显示只注视图像的部分，性能达到了接近 ImageNet 基准的 75% 和 91% 的 Top-1 和 Top-5

Aug, 2019

本文提出了两种新的基于学习的 eXplainable AI（XAI）方法，用于深度卷积神经网络（DCNN）图像分类器，称为 L-CAM-Fm 和 L-CAM-Img，通过插入在原始（冻结的）DCNN 中的注意机制，并被训练为从最后一个卷积层的特征映射中导出类激活映射（CAMs）。在 ImageNet 上的实验评估表明，提出的方法在要求单次正向传递的推理阶段实现了竞争结果，并基于推导得出的解释进行了全面的定性分析，提供了有价值的洞察力，用于理解分类错误背后的原因，包括可能影响训练分类器的数据集偏差。

Sep, 2022

我们提出了 Faithful Attention Explainer（FAE）的框架，用于生成关于关注特征的忠实文本解释，并展示了该模型在生成图像描述和解译人类注意力方面的良好性能。

May, 2024

人工智能在医学诊断中的部署需要准确性、有效性和可信性，强调机器决策的可解释性。最近自动化医学图像诊断的趋势倾向于采用基于 Transformer 的架构，归功于其令人印象深刻的能力。我们的研究旨在创新一种强调 “区域” 而非 “像素” 相关性的独特注意块，以应对这一挑战。引入基于样本学习的创新系统，具备先进的自注意机制，并通过提供可理解的视觉洞察力，超越传统的临时视觉解释技术。我们使用定量和定性的方法论，演示了该方法在大规模的 NIH 胸部 X 射线数据集上的有效性。实验结果表明，我们提出的方法为可解释性提供了有希望的方向，这可以导致更可信的系统的发展，并促进这种技术更容易和快速地应用于常规诊所中。代码可在 www.github.com/NUBagcilab/r2r_proto 找到。

Mar, 2024

在黑盒神经网络的基础上，通过训练第二个网络来预测对预备的黑盒分类器的贡献，并将这些贡献以只显示与分类器相关部分的蒙版的形式提供，我们的方法可以直接在单个前向传递中生成非常明显的类特定蒙版。

May, 2022

本研究介绍了一种新的注意力机制 - outlook attention，并提出了一个通用的神经网络架构 VOLO 来优化在 ImageNet 分类任务上基于自我注意力的视觉 transformer (ViT) 性能问题，VOLO 在没有额外训练数据的情况下，实现了 87.1％的 top-1 精度并在下游的语义分割任务中取得了良好的效果。

Jun, 2021

本论文提出了一种新方法 Bi-level Optimized Query Slot Attention，利用可学习的查询初始化 Slot-Attention，配合双层优化方法，实现了在无监督图像分割和重构中最先进的结果，并展示了其在概念绑定和零样本学习中的巨大潜力。

Oct, 2022

本文提出了一种新型的 TaSc 机制，学习任务特定的非上下文信息以扩展原始的 Attention 权重，通过评估测试，证明 TaSc 可以提高 Attention 解释在两种注意机制，五个编码器和五个文本分类数据集上的解释 品质而不牺牲预测性能，并且相对于三种广泛使用的可解释性技术，TaSc 一致提供更加忠实的 Attention 解释。

May, 2021