Jun, 2021

IA-RED$^2$: 针对 Vision Transformers 的可解释性感知冗余减少

PDF
TL;DR本论文提出了一种基于可解释性的冗余缩减框架 (IA-RED$^2$) 来加速计算机视觉中的 transformer 模型，在丢失不到 0.7% 的精度的同时，最大速度提升了 1.4 倍，并且具有可靠的可解释性。
transformercomputer visioninterpretabilityredundancy reductionself-attention
发现论文，激发创造
  • 可解释感知视觉变换器

    我们引入了一种新的培训过程，通过训练促进模型的可解释性，从而解决 Vision Transformers 在解释性方面的不足，并提出了 IA-ViT 模型，通过单头自注意机制提供忠实的解释，有效地应用于几个图像分类任务。

    Sep, 2023

  • AdaViT: 自适应视觉 Transformer 用于高效图像识别

    本文提出了 AdaViT，一个自适应的计算框架，旨在提高视觉变换器的推理效率，而只有 0.8％的准确率下降，并在不同的计算预算条件下实现了良好的效率 / 准确性平衡。

    Nov, 2021

  • 剥离洋葱：分层减少数据冗余以提高 Vision Transformer 训练效率

    本文提出了一种从三个稀疏角度出发的训练框架 Tri-Level E-ViT，探索了数据冗余的减少，并证明了该框架不仅可以加速各种 ViT 架构的训练，还可以提高准确性。

    Nov, 2022

  • 通过探索归纳偏见推动图像识别及更广泛领域的视觉 Transformer 进化 (ViTAEv2)

    本文提出了一种利用先验卷积 IB（intrinsic bias）的 Vision transformer 架构（ViTAE）来解决长程依赖建模中存在的局限性，并在 ImageNet 及其他数据集上进行了实验证明其在图像分类任务上的优越性。

    Feb, 2022

  • 可解释的医学诊断变压器原型

    人工智能在医学诊断中的部署需要准确性、有效性和可信性，强调机器决策的可解释性。最近自动化医学图像诊断的趋势倾向于采用基于 Transformer 的架构，归功于其令人印象深刻的能力。我们的研究旨在创新一种强调 “区域” 而非 “像素” 相关性的独特注意块，以应对这一挑战。引入基于样本学习的创新系统，具备先进的自注意机制，并通过提供可理解的视觉洞察力，超越传统的临时视觉解释技术。我们使用定量和定性的方法论，演示了该方法在大规模的 NIH 胸部 X 射线数据集上的有效性。实验结果表明，我们提出的方法为可解释性提供了有希望的方向，这可以导致更可信的系统的发展，并促进这种技术更容易和快速地应用于常规诊所中。代码可在 www.github.com/NUBagcilab/r2r_proto 找到。

    Mar, 2024

  • 事件化的 Transformer：利用视觉 Transformer 中的时间冗余

    本文提出了 Eventful Transformers 方法，通过利用视频输入的时间冗余性，对 Vision Transformers 进行计算成本的降低，从而在视频处理中实现了显著的计算节省。

    Aug, 2023

  • 一个简单的解释型 Transformer 用于细粒度图像分类与分析

    我们提出了一种新颖的 Transformer 的用法，使图像分类具有解释性。通过在编码器 - 解码器中使用 Transformer 进行类别定位，我们的方法 INTR 使得每个类别都能够在图像中找到自己的模式，并展示了对预测的准确解释。通过多头交叉关注机制，INTR 能够识别类别的不同属性，从而在细粒度分类和分析方面具有良好的适应性。

    Nov, 2023

  • 注意力感知的协作推理中的语义通信

    提出一种在边缘推理领域内，通过有效利用视觉 Transformer（ViTs）模型的通信高效的协同推理框架。该框架运用了轻量级的 ViT 模型在边缘设备上，服务器采用复杂的 ViT 模型，以提高通信效率并实现与服务器模型相当的分类准确性，通过关注度感知的补丁选择和熵感知的图像传输策略实现。实验证明，该协同推理框架可以将通信开销减少 68%，同时仅有最小的准确性损失。

    Feb, 2024

  • Transformer 中共享关键语义的高效图像修复

    通过使用由专门构造的稀疏但全面的关键语义词典优化的自注意力机制，该文提出了一种增强图像恢复性能的新方法：SemanIR。通过在同一阶段内共享关键语义词典，该方法能够实现每个窗口内的线性计算复杂度，并通过实验证明了其在六个图像恢复任务中的卓越性能。

    May, 2024

  • 超越注意力可视化的 Transformer 可解释性

    本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法，通过注意力层和跳跃连接进行传播，并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。

    Dec, 2020