该研究提出了邻域注意力机制（Neighborhood Attention），改进了窗口自注意力机制（Window Self Attention），提高了视觉任务的性能，特别是图像分类方面。

Apr, 2022

通过重新评估非自回归变压器的训练和推理策略设计，本文提出了一种名为 AutoNAT 的方法，该方法在自动框架中直接解决最优策略，从而大幅提升了非自回归变压器的性能，并且能够与最新的扩散模型在显著降低推理成本的同时进行可比较的表现。

Jun, 2024

本文提出自适应注意力归一化模块 (AdaAttN) 来适应性地按点执行注意力归一化。通过从内容和风格图像的浅层和深层特征中学习空间注意力分数，来计算加权统计数据，最终通过本文提出的局部特征损失，实现高质量的任意图像 / 视频风格迁移。

Aug, 2021

本文提出了一种新颖的 STTR 网络，采用视觉令牌将内容和样式映射到细粒度的特征空间，采用自注意力机制和交叉注意力机制实现微观的样式转换，在人造数据集的评估中取得了较高的效果。

Oct, 2022

本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

May, 2020

本文研究探索类似于 pure transformers 的 GAN 架构来进行高分辨率图像合成，并提出了基于 Swin transformer 和本地化的 Local Attention 的 StyleSwin 生成器。在高分辨率合成过程中，采用双重注意力机制来改善生成质量、有效地抑制块状伪影，并证明了 transformers 在高分辨率图像生成方面的可用性。

Dec, 2021

通过在深度神经网络内使用 Markov 决策过程和强化学习，我们提出了神经架构转换器，能够替换无意义或冗余的操作以提高性能并减少计算成本。我们的实验在 CIFAR-10 和 ImageNet 数据集上验证了此方法的有效性。

Oct, 2019

为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

May, 2022

本文介绍了一种新型 Hierarchical Vision Transformer，Dilated Neighborhood Attention Transformer（DiNAT）及其基于 Dilated Neighborhood Attention（DiNA）的自注意力机制，使其具备全局关联建模和扩大感受野的能力，证明 DiNAT 对常规 Hierarchical Vision Transformer 具有显著的优势，从而实现了在一些特定领域中更好的 Panoptic 分割表现。

Sep, 2022

本文介绍了一种新型的样式注意力网络（SANet），它可以根据内容图像的语义空间分布有效、灵活地整合本地样式模式，并且通过新的身份损失函数和多层特征嵌入，使得该网络和解码器能够尽可能地保留内容结构，同时丰富样式模式，实验结果表明我们的算法能够实时地合成比现有算法产生更高质量的样式图像。

Dec, 2018