概念中心 Transformer：基于物体概念学习的概念 Transformer，用于可解释性

May, 2023

概念中心 Transformer：基于物体概念学习的概念 Transformer，用于可解释性

Concept-Centric Transformers: Concept Transformers with Object-Centric Concept Learning for Interpretability

Jinyung Hong, Theodore P. Pavlic

TL;DR我们提出了以目标为中心的 “Concept-Centric Transformers”（CCT），通过整合基于面向对象学习的新型概念提取模块，提供更强大的解释性和性能，与 CT 和其他现有方法在 MNIST（奇偶），CIFAR100（超类）和 CUB-200-2011（鸟物种）分类问题上进行测试，实验证明 CCT 不仅在所有三个测试问题中的分类准确度显着优于所有选择的基准分类器，而且与 CT 相比，它生成更一致的基于概念的分类输出解释。

Abstract

attention mechanisms have greatly improved the performance of deep-learning models on visual, NLP, and multimodal tasks while also providing tools to aid in the model's interpretability. In particular, attention scores over input regions or concrete image features can be used to measur

attention mechanisms transformer concept learning classification object-centric

发现论文，激发创造

将语义概念注入端到端图像字幕生成

本文提出了一种全新的视觉变换器（Vision transformer-based）图像标题模型 ViTCAP，使用网格表示而不提取区域特征。为了提高性能，引入了基于 Vision Transformer 的概念令牌网络（CTN），可以高效地预测语义概念，并将其整合到端到端的标题生成中，从而实现竞争性能，同时简化了结构。

Dec, 2021

基于插槽注意力的目标中心学习

本文提出了一个名为 Slot Attention 的架构组件，它能够从低级感知特征中提取物体为中心的表示，并能够推广到未见组合。

Jun, 2020

CAT: 视觉 Transformer 中的交叉注意力

探索使用 Cross Attention 机制替代传统的 self-attention 机制在计算机视觉任务中实现 Transformer 的实用性，实验表明该机制在 ImageNet-1K、COCO 和 ADE20K 等任务上可以达到先进水平，并且降低了计算量。

Jun, 2021

基于 Transformer 的目标检测

本文研究使用纯 Transformer 模型实现复杂视觉任务中的目标检测，发现 Vision Transformer 作为骨干网在检测任务上可以产生与传统卷积网络相媲美的结果，而且能够保持更高的图像分辨率。

Dec, 2020

MCTformer+: 弱监督语义分割的多类标记变换器

本文提出了一种新颖的基于 Transformer 的框架，旨在通过生成准确的类特定目标定位图作为伪标签来增强弱监督语义分割，并探讨了 Transformer 模型捕捉类特定关注力以实现具有类鉴别性的目标定位的潜力。

Aug, 2023

图像字幕生成：物体到文字的转换

本文介绍了一种名为 “Object Relation Transformer” 的图像描述模型，该模型在编码器 - 解码器架构中显式地整合了有关输入检测对象的空间关系，以几何关注的方式建模。结果表明，这种几何关注对图像描述非常重要，并在 MS-COCO 数据集上的各种标准评估指标上均有改进。

Jun, 2019

生成式视频变压器：物体能否成为语言的基本单位？

本文介绍了一种利用 “Object-Centric” 思想的视频生成器 ——Object-Centric Video Transformer（OCVT）模型，该模型通过将场景分解为对象来学习多个相互作用对象的复杂空间 - 时间动态，相较于基于像素的模型，其显著提高了记忆效率，能够在单个 48GB GPU 上训练长度达 70 帧的视频，且在 CATER 任务上取得了最新的实验结果。

Jul, 2021

少量数据下，紧凑卷积 Transformer 使医学影像分类更强壮

本研究探讨了 Compact Convolutional Transformers（CCT）在使用有限数据进行稳健的医学图像分类方面的功效，结果明确了 CCT 在生物医学成像领域具有数据稀缺问题的潜力并鼓励进一步的研究。

Jul, 2023

CAT: 一种用于一次性目标检测的交叉注意力变换器

本文提出了一种通用的跨注意力变换器模块来解决一次性物体检测中难以准确利用语义相似度和泛化的问题，并通过在 COCO、VOC 和 FSOD 等数据集上的大量实验表明其有效性和效率。

Apr, 2021

XCiT: 跨协方差图像变换器

本文介绍了基于交叉协方差矩阵的交叉协方差注意力（XCA），用于高分辨率图像的高效处理。文章基于 XCA 构建了交叉协方差图像变换器（XCiT），并在多个视觉基准测试中取得了优异的结果，包括 ImageNet-1k 上的图像分类和自监督特征学习，COCO 上的目标检测和实例分割以及 ADE20K 上的语义分割。

Jun, 2021