R-Cut: 使用关系加权输出和剪切技术提升视觉变换器的可解释性

Jul, 2023

R-Cut: 使用关系加权输出和剪切技术提升视觉变换器的可解释性

R-Cut: Enhancing Explainability in Vision Transformers with Relationship Weighted Out and Cut

Yingjie Niu, Ming Ding, Maoning Ge, Robin Karlsson, Yuxiao Zhang...

TL;DR这篇论文提出了一种新方法，通过提供类别特定的可视化地图，改进了基于 Transformer 的图像分类模型的可解释性，从而提高分类结果的可信度，并赋予用户对后续任务更深入的理解。通过引入 “Relationship Weighted Out” 和 “Cut” 模块，从中间层提取类别特定信息并突出相关特征，实现了精细的特征分解，考虑了位置、纹理和颜色等因素。通过在 ImageNet 数据集上进行广泛的定性和定量实验证实了该方法的有效性，并在专门用于自动驾驶危险预警的 LRN 数据集上进行了大量实验，评估了方法在复杂背景下的可解释性，结果表明其显著优于现有方法。此外，我们还进行消融实验，验证了每个模块的有效性，从而进一步证实了我们提出的方法的整体有效性。

Abstract

transformer-based models have gained popularity in the field of natural language processing (NLP) and are extensively utilized in computer vision tasks and multi-modal models such as GPT4. This paper presents a novel method to enhance the →

transformer-based models explainability image classification visualizations class-specific maps

发现论文，激发创造

关系变换网络

该论文提出了一种新颖的 transformer 模型，用于场景图生成和关系预测，利用编码器 - 解码器架构和节点和边的丰富特征嵌入，通过自我注意力和交叉注意力模拟节点之间和边与节点之间的交互，并引入适用于处理解码器中的边的新的位置嵌入。

Apr, 2020

超越注意力可视化的 Transformer 可解释性

本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法，通过注意力层和跳跃连接进行传播，并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。

Dec, 2020

基于 Transformer 的方法：从非结构化文本到因果知识图谱

本文介绍了基于 transformer 的 NLP 架构，该架构可以联合提取包括语言描述、定性因果关系、约束限定词、词义在内的知识图谱，以及说明其在真实世界中的准确性和实用性。

Feb, 2022

通过加权相关累加实现通用注意力模型的解释性

我们提出了一种加权相关性策略，考虑了令牌值的重要性，以减少在平等累积相关性时的失真。通过 CLIP 编码器和后续的映射器，我们提出了统一的基于 CLIP 的两阶段模型，命名为 CLIPmapper，用于处理视觉和语言任务，通过自注意、交叉注意、单模态和交叉模态注意，这使得我们的通用可解释性方法更加合适。对视觉问答和图像字幕进行的广泛扰动测试证实了我们的可解释性方法优于现有的方法。

Aug, 2023

通过点亮重要信息更好地解释 Transformers

提出了一种在层间相关传播 (LRP) 方法的基础上通过细化信息流来突出重要信息并消除无关信息，实验结果表明，与八个基准方法相比，在分类和问答数据集上我们的方法始终表现出超过 3% 到 33% 的解释指标的提升，提供了更好的解释性能。

Jan, 2024

图关系变换器：将成对物体特征纳入 Transformer 架构中

我们提出了一种名为 GRT 的图形关系 Transformer 方法，它使用边缘信息来计算转换器中图形关注操作，它在视觉问答任务中取得了很好的效果。

Nov, 2021

面向医学成像的视觉 Transformer 解释评价

本文研究了在医学影像学领域中，Vision Transformer (ViT) 解释方法的表现，证明了 Transformer 的逐层相关传播法胜过本地可解释的模型不可知性解释和注意力可视化方法，在准确和可靠地表示 ViT 已经学到了什么方面提供了更好的表现。

Apr, 2023

关系之间的关系：关系抽取问题的新范式

本文提出了一种基于图神经网络和关系矩阵变换器的数据驱动关系提取新方法，不需要手工规则，能够完整考虑同一个上下文中的多个关系，并通过对 ACE05 数据集和 SemEval 2018 Task 7.2 等数据集的实验验证，证明该方法优于现有方法 1.12％到 2.55％不等。

Jun, 2020

一种新的本地转换模块用于小样本分割

本文提出了一种基于局部特征关系的转换模块，通过广义逆矩阵将关系矩阵线性转换，可以用于替代现有的 Few-shot 分割框架中的转换模块，并在 Pascal VOC 2012 数据集上进行了验证。

Oct, 2019

视觉 Transformer 的可解释性：综述与新的观点

本研究探讨了用于视觉 Transformer 的不同解释性方法，并提出了根据其动机、结构和应用场景进行分类的分类法。此外，还提供了用于比较解释结果的综合评价标准，以及解释性工具和框架。最后，本文突出了可以增强视觉 Transformer 可解释性的重要但未被开发的方面，并提出了未来需进一步研究的方向。

Nov, 2023