Jun, 2024

概率概念解释器：用于视觉基础模型的可信概念解释

PDF
TL;DR这篇论文提出了 Vision transformers（ViTs）在解释方法方面的需求，通过引入概率概念解释器（PACE）来提供可信的事后概念解释，并通过实验表明 PACE 在定义的需求方面优于现有方法。
发现论文，激发创造
  • 面向医学成像的视觉 Transformer 解释评价

    本文研究了在医学影像学领域中，Vision Transformer (ViT) 解释方法的表现，证明了 Transformer 的逐层相关传播法胜过本地可解释的模型不可知性解释和注意力可视化方法，在准确和可靠地表示 ViT 已经学到了什么方面提供了更好的表现。

    Apr, 2023

  • 可解释感知视觉变换器

    我们引入了一种新的培训过程，通过训练促进模型的可解释性，从而解决 Vision Transformers 在解释性方面的不足，并提出了 IA-ViT 模型，通过单头自注意机制提供忠实的解释，有效地应用于几个图像分类任务。

    Sep, 2023

  • 提升视觉变换器的忠实度

    通过引入 Faithful ViTs 和 Denoised Diffusion Smoothing 方法，本研究改进了 Vision Transformers 在解释准确性和对抗攻击下的鲁棒性，并在维持注意力解释性方面取得了更高的可靠性。

    Nov, 2023

  • 注意力导向 CAM：自注意力引导视觉变换器的视觉解释

    我们提出了一种应用于 Vision Transformer 的注意力引导可视化方法，该方法能够为其决策提供高级语义解释，并以类标签为唯一的输入，具备出色的定位性能，在弱监督定位任务中胜过了之前领先的解释方法，并具备捕获目标类对象的完整实例的能力

    Feb, 2024

  • ProtoS-ViT：稀疏自解释分类的视觉基础模型

    冷冻预训练的 ViT 后骨干能有效地转化为示范性模型，提高模型的准确性、简洁性和可解释性，通过一系列定量和定性指标评估模型可解释性。

    Jun, 2024

  • 概念解释估计应该具备不确定性意识

    用可理解的人类概念来解释模型的全局解释的不稳定性问题以及提出了一种基于不确定性的贝叶斯估计方法，可以提高概念解释的可靠性。

    Dec, 2023

  • 视觉 Transformer 的可解释性：综述与新的观点

    本研究探讨了用于视觉 Transformer 的不同解释性方法，并提出了根据其动机、结构和应用场景进行分类的分类法。此外，还提供了用于比较解释结果的综合评价标准，以及解释性工具和框架。最后，本文突出了可以增强视觉 Transformer 可解释性的重要但未被开发的方面，并提出了未来需进一步研究的方向。

    Nov, 2023

  • 可验证特征归因：后解释性与内在可解释性之间的桥梁

    通过 VerT 方法，将黑盒模型转化为生成可信且可验证特征归因的模型，从而弥合了先前研究中的解释策略差距。

    Jul, 2023

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • 通过文本解释解读和控制视觉基础模型

    基于大规模预训练视觉模型，如 CLIP，的本文的研究主要集中在模型的解释和控制，通过理解模型的潜在令牌和进行模型编辑来改进模型的推理行为和鲁棒性。

    Oct, 2023