CVPRMar, 2024

令牌转换的重要性：为了视觉变换器的忠实后置解释

PDF
TL;DR利用我们提出的令牌变换效果的度量来将令牌转换效果纳入解释中，通过在模型的所有层中整合注意权重和令牌转换效果，捕捉整体令牌贡献。实验结果表明，与最先进的 Vision Transformer 解释方法相比，我们提出的 TokenTM 方法具有卓越性能。
transformerspost-hoc explanationtokentmattention weightsvision transformer
发现论文，激发创造
  • 使用语义有意义的标记理解视觉表示学习的效果

    在视觉 - 语言预训练框架中，通过提供语义上有意义的视觉标记给 transformer 编码器，本文探索了视觉 transformer 在学习综合和组合性视觉数据表示方面的限制，并通过使用现成的分割和场景图模型，提取了实例分割掩码（称为有形标记）和关系动作（称为无形标记）的表示，从而在视觉 side 的 transformer 预训练中引入了这些新增的标记，并将得到的嵌入与文本编码器中的标题嵌入对齐。实验结果表明，在 COCO 数据集上，相比 ViTs，在文本到图像（+47%）和图像到文本（+44%）检索任务中学到了更好的表示质量，并且在组合性评估基准（如 ARO（+18%）和 Winoground（+10%））上展示了优势。

    May, 2024

  • 注意力与事后解释性相遇：数学视角

    通过数学研究，我们发现后续方法能够捕捉到比仅仅检查注意力权重更有用的见解，并且它们与基于注意力机制的解释结果存在明显差异。

    Feb, 2024

  • 不是所有令牌都相等：通过令牌聚类变换器进行人类中心的视觉分析

    本文介绍了一种名为 token clustering transformer 的新型视觉 transformer 模型，它可以有效处理不同区域的特征提取问题，在多种人体相关任务上表现出了不俗的性能。

    Apr, 2022

  • 视觉 Transformer：面向计算机视觉的基于令牌的图像表示和处理

    本文通过使用视觉 Transformer 在语义标记空间中密集地建模标记关系并减少卷积计算量，从而在 ImageNet top-1 和 LIP，COCO-stuff 图像分割测试上表现出了显着的优势。

    Jun, 2020

  • 视觉 Transformer 的可解释性：综述与新的观点

    本研究探讨了用于视觉 Transformer 的不同解释性方法，并提出了根据其动机、结构和应用场景进行分类的分类法。此外，还提供了用于比较解释结果的综合评价标准，以及解释性工具和框架。最后，本文突出了可以增强视觉 Transformer 可解释性的重要但未被开发的方面，并提出了未来需进一步研究的方向。

    Nov, 2023

  • 掩码注意力：提高视觉 Transformer 可解释性的机制

    通过在注意机制中使用背景遮罩的新方法，视觉 Transformers 在计算病理学中的背景抑制中取得了可比的性能，提供了更准确和临床意义的注意热图。

    Apr, 2024

  • 混合分辨率令牌化的视觉 Transformer

    本文介绍了一种新的图像标记方案 —— 混合分辨率标记 —— 以及如何使用 Quadtree 算法和新的显著性评分器构建图像的代表通量，进而实现更好的图像分类。

    Apr, 2023

  • 变形金刚中的注意力流量量化

    本文提出两种方法 —— 注意力展开和注意力流 —— 用于近似计算相对于输入令牌的注意力权重，以解决在 Transformer 模型中，由不同令牌产生不同的信息流动混合，使得注意力权重不可靠作为解释探针的问题。与原始注意力相比，这两种方法均具有更高的输入梯度基于消融法重要性评分相关性。

    May, 2020

  • 解读 Transformer 的注意力动态记忆与可视化 GPT 的语义信息流

    通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。

    May, 2023

  • 测量 Transformer 中上下文信息的混合

    该论文提出了一种名为 ALTI 的方法，通过考虑注意力模块（multi-head attention, residual connection and layer normalization）以及定义一种新的度量方法来测量各层之间的令牌交互，从而提供更准确的输入归因分数以解释模型预测，在实验中显示 ALTI 比基于梯度方法更好地提供了模型预测的解释，提高了模型的鲁棒性。

    Mar, 2022