本文研究了基于深度自回归Transformer模型在语言建模和语音识别中的应用，探索了配置Transformer模型进行语言建模的方法和深度Transformer语言模型是否需要位置编码，证明了深度Transformer语言模型可以自动利用序列中的位置信息，并能在语音识别模型中得到应用。

May, 2019

本篇研究论文提出了一种通过适当使用层归一化技术以及一种新的传递先前层组合方法，在机器翻译任务中，构建比Transformer-Big模型更深层的Transformer模型，并在WMT'16英德、NIST OpenMT'12中英和更大的WMT'18中英任务中将深层系统（30/25层编码器）与浅层Transformer-Big / 基线（6层编码器）相比，BLEU分数提高了0.4-2.4点，而且深度模型的大小更小1.6倍并且训练速度更快3倍。

Jun, 2019

本研究提出了一种用于构建下一代 Transformer 模型的方法，即利用稀疏层进行有效缩放和高效执行非批量解码。结果表明，这种模型在拥有相同参数数量的情况下，可以获得与标准 Transformer 相同的效果，并且在长文本摘要方面表现优异。

Nov, 2021

本文通过实验表明，构建基于 relaxed attention 的 transformer 架构，可以通过抑制自动回归 transformer 解码器的内部语言模型，实现有效地整合外部语言模型，并且提高了通用 transformer 架构的正则化能力。

Sep, 2022

本文通过详细调查从2017至2022年间提出的Transformer模型，分析了其在自然语言处理、计算机视觉、多模态、音频和语音处理以及信号处理等领域中的应用及其对应的任务，并提供了一种分类法，以期为进一步研究及其未来的应用提供参考。

Jun, 2023

提出了一种名为MASFormer的变种Transformer模型，它通过混合的注意力机制在处理长序列数据时既能捕捉到长距离依赖关系，又能在其余层使用稀疏注意力提高计算效率。实验结果表明，该模型在自然语言建模和生成任务中能够达到与全注意力的Transformer模型相媲美的性能，同时显著降低计算成本（多达75%），并对长序列数据的持续训练和序列长度对下游生成任务的影响进行了研究。

Oct, 2023

介绍了Transformer基本概念，描述了标准Transformer架构，包括一系列模型细化和常见应用，主要关注有助于理解Transformer及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。

Nov, 2023

通过结构化的前馈网络，使用线性层近似来减少大型语言模型的参数数量和计算成本，同时提出一种自我引导训练的方法来改善这种近似所表现出的训练动力学，从而在训练和推断中实现高效和有效的结果。

Jun, 2024

通过对Transformer-based LLMs中的计算密集型前馈神经网络(FFNs)应用低秩参数化，我们研究表明低秩参数化在尺度上是高效的，能够通过减少参数数量和成本而不显著影响性能，我们开发了宽度和结构化的网络，超过了目前的中型和大型Transformer模型在困惑度和吞吐能力方面的表现。

Jul, 2024

本研究解决了微调预训练变换器模型效率与功能的不足，提出了两种新微调方法。其中一种通过引入递归机制提升变换器解码器的效率，另一种则使得掩蔽语言模型可用于非自回归序列到序列变换器的初始化，扩展其生成应用。研究显示，新技术可在不额外微调的情况下改善变换器解码器的预测质量，具有重要的实践价值。

Aug, 2024