研究了不同顺序的多层 Transformer 结构对性能的影响，提出了一种新的顺序 —— 三明治变压器模型，并在多个语言模型基准测试中验证了其性能优势。

Nov, 2019

利用 AEIUOrder 算法通过改变编码器权重矩阵的顺序来最大化总的训练程度，从而提高 Transformer-based encoder-decoder 模型的翻译质量。

Feb, 2023

本文提出一种基于共享注意力权重和隐藏状态重用的快速、轻量级的注意力模型，用于加速 Transformer 机器翻译系统，在十项 WMT 和 NIST OpenMT 任务上实现了平均 1.3 倍的速度提升（几乎不降低 BLEU）和与 Aan 模型的 1.8 倍加速（比没有使用注意力缓存的基线高出 16 倍）。

Jun, 2019

通过在训练时随机执行注意力模块的顺序，我们提出了一些训练方法，使得视觉变换器在测试时能够适应任意的层执行顺序，虽然会导致准确性下降 20%。此外，我们还发现经过训练的模型可以随机合并，形成 “弗兰肯斯坦” 模型，而不会损失性能，并且我们在测试时对模型进行层剪枝，发现性能下降得很平滑。

Jul, 2024

本文介绍了一种 Transformer 模型，它可以在网络的不同阶段进行输出预测，并调整每个步骤所应用的不同图层，以调整计算量和模型容量。通过对 IWSLT 德英翻译的实验，我们的方法与 well tuned 换基础变压器的精度相匹配，同时只使用不到四分之一的解码器层数。

Oct, 2019

本文介绍了如何使用双语平行数据集来模拟目标语序，在改进了位置编码机制的基础上，提出了一种新的序列重排序方法来显式地模拟源语句子的重排序信息，同时实验证明，该方法在多种翻译任务中均有效。

Apr, 2020

介绍了一种解决多实例学习和 3D 形状识别等问题的神经网络模型 Set Transformer，该模型使用注意力机制来模拟输入集合中元素之间的交互，并且引入了一种减少计算复杂度的基于诱导点的注意力方案，实验结果表明，在处理集合结构数据时，该模型具有比其他最新方法更高的性能表现。

Oct, 2018

通过对来自一个广义 Potts 模型的数据进行学习，我们证明了带一点修改的自注意力单层可以在无限采样的极限下精确地学习这个分布，这种修改后的自注意力具有与条件概率相同的功能形式。

Apr, 2023

本篇论文提出基于注意力机制的神经机器翻译新架构，采用自注意力和前馈神经网络层来避免递归和卷积，但是需要大量的参数和训练才能收敛。同时又提出了加权 Transformer 模型，通过修改注意力层架构，更快地提高 BLEU 得分表现，同时在英译德和英译法机器翻译任务中表现最优。

Nov, 2017

提出了一种新型的基于 Transformer 的网络结构 InstaFormer，用于实例感知的图像到图像的转换，可以有效地整合全局和实例级信息，通过自注意力模块在 Transformers 中考虑上下文信息，通过将通过边界框信息从内容特征中提取的实例级特征与这些标记相结合，我们的框架能够学习对象实例和全局图像之间的互动，从而提高实例感知能力，同时在标准 Transformer 中使用自适应实例归一化（AdaIN）代替层规范化（LayerNorm），以启用具有风格编码的多模式翻译。另外，为了提高实例感知能力和物体区域的翻译质量，介绍了一种实例级内容对比损失，定义了输入图像和翻译图像之间的对比损失。实验表明，与最新方法相比，我们的 InstaFormer 具有更好的性能。

Mar, 2022