CVPRApr, 2023

面向医学成像的视觉 Transformer 解释评价

PDF
TL;DR本文研究了在医学影像学领域中，Vision Transformer (ViT) 解释方法的表现，证明了 Transformer 的逐层相关传播法胜过本地可解释的模型不可知性解释和注意力可视化方法，在准确和可靠地表示 ViT 已经学到了什么方面提供了更好的表现。
deep learning modelstransparent decision makingvision transformerinterpretation methodsmedical imaging
发现论文，激发创造
  • 概率概念解释器：用于视觉基础模型的可信概念解释

    这篇论文提出了 Vision transformers（ViTs）在解释方法方面的需求，通过引入概率概念解释器（PACE）来提供可信的事后概念解释，并通过实验表明 PACE 在定义的需求方面优于现有方法。

    Jun, 2024

  • 自我注重的变形器可解释的医学图像诊断：医疗保健可解释 AI 综述

    近期人工智能的进展使其在初级医疗服务中得到广泛应用，解决了医疗保健领域的需求供应失衡问题。Vision Transformers（ViT）已成为最先进的计算机视觉模型，受益于自注意力机制。然而，与传统的机器学习方法相比，深度学习模型更复杂，常被视为黑匣子，这可能导致人们对其运作方式的不确定性。可解释的人工智能（XAI）是指解释和解读机器学习模型内部运作及其决策的方法，这对医疗领域的决策过程尤为重要。本综述总结了最近 ViT 的进展和解释性方法，以了解 ViT 的决策过程，实现医疗诊断应用的透明性。

    Sep, 2023

  • 视觉 Transformer 的可解释性：综述与新的观点

    本研究探讨了用于视觉 Transformer 的不同解释性方法，并提出了根据其动机、结构和应用场景进行分类的分类法。此外，还提供了用于比较解释结果的综合评价标准，以及解释性工具和框架。最后，本文突出了可以增强视觉 Transformer 可解释性的重要但未被开发的方面，并提出了未来需进一步研究的方向。

    Nov, 2023

  • 基于 Transformer 的可解释多摄像头 3D 物体检测与显著性图

    我们提出了一种新颖的方法，用于生成用于 3D 物体检测的具有多个相机输入的 DetR-like ViT 的显著性图。我们的方法基于原始注意力，比基于梯度的方法更高效。通过大量的扰动测试，我们在 nuScenes 数据集上评估了所提出的方法，并展示了其在视觉质量和定量指标方面优于其他可解释性方法。我们还展示了在转换器的不同层之间聚合注意力的重要性。我们的工作有助于开发 ViT 的可解释 AI，通过更透明地了解 AI 模型的内部工作，可以提高人们对 AI 应用的信任。

    Dec, 2023

  • 可解释感知视觉变换器

    我们引入了一种新的培训过程，通过训练促进模型的可解释性，从而解决 Vision Transformers 在解释性方面的不足，并提出了 IA-ViT 模型，通过单头自注意机制提供忠实的解释，有效地应用于几个图像分类任务。

    Sep, 2023

  • 注意力导向 CAM：自注意力引导视觉变换器的视觉解释

    我们提出了一种应用于 Vision Transformer 的注意力引导可视化方法，该方法能够为其决策提供高级语义解释，并以类标签为唯一的输入，具备出色的定位性能，在弱监督定位任务中胜过了之前领先的解释方法，并具备捕获目标类对象的完整实例的能力

    Feb, 2024

  • EL-VIT: 使用交互可视化研究视觉 Transformer

    EL-VIT 是一种交互式可视化分析系统，可以帮助 ViT 用户理解 ViT 的工作机制，通过四个层次的可视化视图展示 ViT 的模型架构、操作过程和数学运算，以及计算图块之间的余弦相似度。

    Jan, 2024

  • 使用额外的统计信息检查 Transformer 模型的可解释性

    通过考虑层归一化层中标记的统计信息，我们的方法在解释 Swin Transformer 和 ViT 的可解释性方面展现了很强的能力。

    Nov, 2023

  • 预训练的 ViT 模型在医疗图像中得到了多用途的表示

    本研究探讨了视觉 Transformer 在医学图像分类中的优劣，并发现使用预训练模型时，视觉 Transformer 可以与卷积神经网络媲美，成为 CNN 的一种可行替代方法。

    Mar, 2023

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021