Nov, 2023

一个简单的解释型 Transformer 用于细粒度图像分类与分析

PDF
TL;DR我们提出了一种新颖的 Transformer 的用法，使图像分类具有解释性。通过在编码器 - 解码器中使用 Transformer 进行类别定位，我们的方法 INTR 使得每个类别都能够在图像中找到自己的模式，并展示了对预测的准确解释。通过多头交叉关注机制，INTR 能够识别类别的不同属性，从而在细粒度分类和分析方面具有良好的适应性。
transformersimage classificationinterpretabilitydetrintr
发现论文，激发创造
  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • Query2Label：一种简单的 Transformer 多标签分类方法

    本文提出了一种简单而有效的方法来解决多标签分类问题，该方法利用 Transformer 解码器查询类标签的存在，并使用视觉骨干计算的特征图来进行后续的二进制分类，相比于以前的工作，该方法更为简单有效，对于五个多标签分类数据集，包括 MS-COCO，PASCAL VOC，NUS-WIDE 和 Visual Genome，始终优于以前的所有工作，我们在 MS-COCO 上建立了 91.3％的 mAP。

    Jul, 2021

  • 基于 Transformer 模型的多标签图像分类

    本文提出的 C-Tran 是用于多标签图像分类的通用框架，旨在利用 Transformers 来利用视觉特征和标签之间的复杂依赖关系。该方法包括经过训练的 Transformer 编码器，用于预测给定带有蒙版标签的输入集的目标标签集，以及来自卷积神经网络的视觉特征。我们的模型在 COCO 和 Visual Genome 等具有挑战性的数据集上显示出最先进的性能。

    Nov, 2020

  • 探索 Vision Transformers 用于细粒度分类

    研究提出了一种多阶段的 Vision Transformer 框架，用于细粒度图像分类，可在不需要架构变化的情况下定位信息图像区域。 Attention-guided 增强技术提高了模型性能，并在四个流行的细粒度基准测试中进行了实验，同时通过定性结果证明了模型的可解释性。

    Jun, 2021

  • 探索 Difficult Images 对检测变换器（DETR）的鲁棒性和特性

    基于 Transformer 的目标检测器 (DETR) 在机器视觉任务中表现出显著性能，但其在处理遮挡和对抗扰动等不同图像干扰方面存在问题。我们通过多种实验和将 DETR 与基于卷积神经网络 (CNN) 的检测器（如 YOLO 和 Faster-RCNN）进行基准测试来研究这个问题。我们发现 DETR 在处理遮挡图像的信息丢失干扰方面表现良好。然而，在涂有对抗标记的图像上，网络需要产生一组新的不必要的键、查询和值，导致网络方向错误。与图像损坏基准测试中 YOLOv5 相比，DETR 的性能也较差。此外，我们发现 DETR 在进行预测时严重依赖于主要查询，导致查询之间的贡献不平衡，因为主要查询接收大部分梯度流。

    Oct, 2023

  • 在类别嵌入空间中分析视觉 Transformer 用于图像分类

    利用我们提出的方法，可以反向工程训练用于解决图像分类任务的 Vision Transformers，并投影到学习的类别嵌入空间以揭示网络建立预测的分类表示的过程。该方法还展示了图像令牌如何根据注意力机制和上下文信息发展类别特定的表示，以及自注意力和 MLP 层在此分类组合中的差异性贡献。我们的研究结果表明，我们提出的框架在机械解释性和可解释性研究中具有强大的功能。

    Oct, 2023

  • 训练视觉 Transformer 进行图像检索

    本文提出一种基于变换器的图像检索方法，通过采用视觉变换器生成图像描述符并使用度量学习目标进行训练，结合对比损失和微分熵正则化，相比于卷积方法，提高了图像检索性能，特别是对于短向量表示和低分辨率图像。

    Feb, 2021

  • 可扩展和强大的 Transformer 解码器用于可解释的基础模型图像分类

    通过使用变形器解码器头和分层混合建模，我们介绍了一种名为 Component Features (ComFe) 的新型可解释的图像分类方法，能够仅通过全局图像标签，在没有分割或部件注释的情况下识别出一致的图像组件，并确定哪些特征对于做出预测是信息丰富的。我们证明了 ComFe 在一系列细粒度视觉基准测试中比以前的可解释模型获得更高的准确性，而无需为每个数据集单独调整超参数。我们还展示了 ComFe 在包括 ImageNet 在内的一系列数据集上优于非可解释的线性头，并提高了泛化和鲁棒性基准的性能。

    Mar, 2024

  • IA-RED$^2$: 针对 Vision Transformers 的可解释性感知冗余减少

    本论文提出了一种基于可解释性的冗余缩减框架 (IA-RED$^2$) 来加速计算机视觉中的 transformer 模型，在丢失不到 0.7% 的精度的同时，最大速度提升了 1.4 倍，并且具有可靠的可解释性。

    Jun, 2021

  • 预训练语言变换器是通用图像分类器

    本文通过使用预训练的转换器模型提出了一种面部图像的分类方法，包括包括二进制分类、使用加密图像进行分类等，并探讨了此方法对于隐私保护机器学习的启示。

    Jan, 2022