本文提出了一种新的 Batch Transformer 模块，即 BatchFormerV2，可以进一步探索密集表示学习，适用于各种常见的视觉识别任务，包括图像分类、目标检测和全景分割，改进了几种基于 DETR 的目标检测方法 (例如 DETR、Deformable-DETR、Conditional DETR 和 SMCA) 1.3% 以上。

Apr, 2022

本文提出了一种名为 PrototypeFormer 的方法，通过探索原型关系，显著改进了传统的少样本图像分类方法。该方法采用变压器架构构建原型提取模块，旨在提取更具有区分性的类别表示，以用于少样本分类。此外，在模型训练过程中，提出了一种基于对比学习的优化方法，以优化少样本学习场景下的原型特征。通过在几个流行的少样本图像分类基准数据集上实验，证明了本方法优于所有当前最先进的方法，特别是在 miniImageNet 的 5-way 5-shot 和 5-way 1-shot 任务上分别达到 97.07％和 90.88％，超过最先进方法分别 7.27％和 8.72％的精度。代码将在之后发布。

Oct, 2023

该研究提出了一种 Neighbor Transformer Network（NFormer） 网络，通过显式建模多张图像之间的交互作用，实现在各种摄像机和场景中识别出人物，并在四个大规模数据集上实现了最新的最高水平。

Apr, 2022

本论文介绍了 PartialFormer—— 一种参数有效的 Transformer 架构，利用多个较小的前馈神经网络来减少参数和计算量，同时保持重要的隐藏维度，并通过一个多头注意力系统实现有效的协同工作。还介绍了一种定制的头缩放策略和改进 PartialFormer 深度扩展的注意力计算方法，对 9 个翻译任务和 1 个抽象摘要任务的大量实验验证了 PartialFormer 方法的有效性。

Oct, 2023

本文提出了一种基于新的所有对消息传递机制和核化 Gumbel-Softmax 算子的节点分类网络，名叫 NodeFormer，特别针对处理大规模图中的长距离依赖、边的不完整性等问题提出了解决方案，并在多项实验中验证了其有效性。

Jun, 2023

本文提出了一种名为 AutoFormer 的新一代架构搜索框架，该框架是针对视觉分类和检测任务中 transformer 网络设计的，通过优化 supernet 让数千个子网络获得很好的训练，最终得到的 AutoFormers 模型在 ImageNet 数据集上取得了比 ViT 和 DeiT 更高的性能，且具有良好的迁移性能和蒸馏实验性能。

Jul, 2021

通过预测任务和设计的多核因果卷积，CausalFormer 学习时序数据的因果表达，并通过回归相关传播解释训练后的模型全局结构以构建因果图，从而在发现时序因果性方面实现了最先进的性能。

Jun, 2024

本研究提出了一种新型的规模感知的盲目人脸修复模型，名为 FaceFormer，利用 Facial Feature Up-sampling 模块生成动态上采样滤波器以适应不同尺度的脸部输入，并借助于 facial feature embedding 模块利用 transformer 分层提取面部潜在多样性和稳健性，该方法在合成数据集训练得到的结果不仅具有高保真度和鲁棒性，还能泛化至自然低质量图像。

Jul, 2022

提出了一种新的神经网络结构 ReFormer，该网络基于 Transformer 模型，融合了场景图生成目标与图像描述目标，实现了对图像对象间关系的显式建模，并能够同时生成高质量的图像描述和场景图，实验结果证明 ReFormer 在图像描述与场景图生成方面均优于当前的最新模型。

Jul, 2021

MatFormer 介绍了一种嵌套的 Transformer 架构，允许精细控制模型大小和推理延迟，同时能提取准确的子模型以降低推理时间。

Oct, 2023