Jan, 2024

视觉 Transformer 中的注意力图统计检验

PDF
TL;DR在这项研究中，我们提出了一种用于 Vision Transformer 的注意力的统计测试方法，通过选择性推理的框架，我们量化了注意力的统计显著性，并将其用于脑图像诊断的应用，以可靠的定量证据指示 Vision Transformer 的决策过程。
vision transformerattention mechanismsselective inferencedecision-makingbrain image diagnoses
发现论文，激发创造
  • 视觉 Transformer 的每个阶段只需要更少的注意力

    Vision Transformers (ViTs) have revolutionized computer vision, but their computational complexity and attention saturation issues limit their practical application. The Less-Attention Vision Transformer (LaViT) proposes a novel approach that reduces the number of attention operations and leverages previously calculated attention scores, resulting in superior efficiency and performance across vision tasks.

    Jun, 2024

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • 视觉 Transformer 网络的效率提升：设计技术与洞见

    通过重新设计注意力机制，本研究对视觉变换网络（ViT）中的注意力机制进行了全面探索，以提高其性能。包括理论基础、基本概念、关注机制的系统分类以及性能评估等方面的综述。

    Mar, 2024

  • RegionViT: 基于区域到局部的视觉转换器注意力机制

    本文提出了一种采用金字塔结构和新的区域到局部注意力的视觉 transformer（ViT）架构，可以在图像分类和目标检测等四个任务上优于目前最先进的视觉 transformer（ViT）变体。

    Jun, 2021

  • 注意力导向 CAM：自注意力引导视觉变换器的视觉解释

    我们提出了一种应用于 Vision Transformer 的注意力引导可视化方法，该方法能够为其决策提供高级语义解释，并以类标签为唯一的输入，具备出色的定位性能，在弱监督定位任务中胜过了之前领先的解释方法，并具备捕获目标类对象的完整实例的能力

    Feb, 2024

  • 关注注意力：将人眼追踪整合到视觉 Transformer 中

    人类视觉输入的固定点可以融入变形器模型中，以改善在多个驾驶情况和数据集中的准确性。

    Aug, 2023

  • 从语义角度揭示视觉 Transformer 中的自注意力机制：分析与应用

    本研究介绍了一个基于尺度不变特征转换的加权块间关系分析方法，并发现该定量分析不仅是 ViT 中 MSA 机制解释的有效补充，还可以应用于模型推断中的假相关性发现和提示，以及引导模型预训练加速。

    Nov, 2022

  • 利用计算注意力预测人类注意力

    本研究提出了人类注意力变压器（HAT），它是一种单一模型，预测两种形式的注意力控制，并通过使用一种新颖的基于转换器的架构和一种简化的凹面视网膜，实现了类似于人类动态视觉工作记忆的时空意识，同时避免了离散化固定目光。HAT 在计算注意力方面设定了新方向，并在各种注意力需求场景中更好地预测人类行为，具有广泛的适用性。

    Mar, 2023

  • 掩码注意力：提高视觉 Transformer 可解释性的机制

    通过在注意机制中使用背景遮罩的新方法，视觉 Transformers 在计算病理学中的背景抑制中取得了可比的性能，提供了更准确和临床意义的注意热图。

    Apr, 2024

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使 Vision Transformer 高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023