Transformer 在计算机视觉领域得到应用，其在自然语言处理方面表现出色，超越了传统卷积神经网络并取得了新的最先进结果。通过将图像分割成多个局部补丁，即 “视觉句子”，ViT 实现了这一目标。然而，图像所包含的信息是庞大而复杂的，仅关注 “视觉句子” 级别的特征是不够的。为了进一步提高性能，TNT 模型提出了进一步划分图像为更小的补丁，即 “视觉词”，得到了更准确的结果。Transformer 的核心是多头注意力机制，传统的注意力机制忽略了不同注意力头之间的相互作用。为了减少冗余并提高利用率，我们引入了嵌套算法，并将 Nested-TNT 应用于图像分类任务。实验证实，所提出的模型在数据集 CIFAR10 上比 ViT 和 TNT 分别提高了 2.25%、1.1%，在数据集 FLOWERS102 上分别提高了 2.78%、0.25% 的分类性能。

Apr, 2024

本论文提出了一种名为 “Hierarchical Aggregation Transformer” 的学习框架，将卷积神经网络和 Transformers 相结合，以实现图像人员 Re-ID，并在四个大规模 Re-ID 基准测试上获得了比几种最先进方法更好的结果。

Jul, 2021

本研究旨在通过预训练一个强大的视觉预测任务（MAE）来简化现代分层视觉变压器的结构，从而创造出一个极其简单的分层视觉变压器 Hiera，并在图像和视频识别的多种任务中评估 Hiera 的性能。

Jun, 2023

通过局部模块来提高图像转换器的视觉表示能力，建立搜索空间和搜索算法体系，提出分层神经架构搜索方法并证明其在 ImageNet 数据集上对于图像分类比 ResNet 和 ViT 机型更优。

Jul, 2021

本研究提出了 Hierarchical Visual Transformer (HVT) 模型，通过逐步分池视觉标记以缩短序列长度降低计算成本，从而改进了图像分类任务的性能，并在 ImageNet 和 CIFAR-100 数据集上实现了与竞争基线相比更好的结果。

Mar, 2021

本文提出了基于分层 Transformer 和本地并行自回归生成的解决方案，使用一个简单灵活的自监督任务 CogLM 进行预训练，并将其用于快速超分辨率。新的文本到图像系统 CogView2 相对于最先进的 DALL-E-2 具有非常优异的生成能力，并自然支持图像文本引导编辑。

Apr, 2022

本文提出了一种新的 Transformer 结构，即 Transformer iN Transformer（TNT），旨在提高图像处理中变换器的性能，通过在局部感知机制内利用可忽略计算成本的注意力机制以进一步将图像局部细化，从而在 ImageNet 基准测试中实现了 81.5% 的 Top-1 准确率，较相似计算成本的最先进的可视变换器高出 1.7%。

Feb, 2021

本文介绍了一种名为 Agglomerator 的框架，它可以通过视觉线索提供部分 - 整体层次结构的表示，并组织与类别之间的概念语义层次结构相匹配的输入分布，从而提高神经网络的可解释性。作者在 SmallNORB、MNIST、FashionMNIST、CIFAR-10 和 CIFAR-100 等常见数据集上进行了评估，并提供了比其他最先进方法更易解释的模型。

Mar, 2022

通过建立分层结构的 Transformer 模型 Hourglass，让 Transformer 可以更加高效地处理长序列，在 ImageNet32 生成任务方面表现出新的最先进，同时提高了在广泛研究的 enwik8 基准上的语言建模效率。

Oct, 2021

本文提出了一种新型的 Hierarchically Cascaded Transformers，它通过属性代理学习和光谱令牌池化来提高数据效率。在少量数据的情况下，HCTransformers 在几个流行的 Few-shot 分类基准上都表现出了优异的性能。

Mar, 2022