比较研究了多种 Transformer 模型的性能，发现长序列的改进版本在内容选择和查询引导解码方面有优势，但在处理远距离的信息和近似误差上有欠缺的地方。

Feb, 2022

提出了一种名为 MASFormer 的变种 Transformer 模型，它通过混合的注意力机制在处理长序列数据时既能捕捉到长距离依赖关系，又能在其余层使用稀疏注意力提高计算效率。实验结果表明，该模型在自然语言建模和生成任务中能够达到与全注意力的 Transformer 模型相媲美的性能，同时显著降低计算成本（多达 75%），并对长序列数据的持续训练和序列长度对下游生成任务的影响进行了研究。

Oct, 2023

自从发布以来，Transformer 已经在许多领域中进行了革命，从自然语言理解到计算机视觉。然而，自注意力操作的计算复杂性限制了其处理大序列的能力。本文探讨了多种策略，以将基于 Transformer 的模型应用于长篇多页文档的情况。我们引入了两种新的多模态（文本 + 布局）长程模型，它们基于针对长序列的高效 Transformer 实现。长程模型可有效地一次处理整个文档，并且对文档的长度不那么敏感。我们将其与 LayoutLM 进行了比较，LayoutLM 是一种经过调整以适应文档理解并在数百万文档上进行预训练的经典 Transformer。我们进一步提出了 2D 相对注意力偏置，以引导自注意力指向相关的标记，同时不影响模型效率。我们观察到，在信息检索方面，对于多页商业文档，可以在较小的序列上带来小幅性能提升。相对的 2D 注意力在密集文本上对普通和长程模型均有效。

Sep, 2023

本研究使用稀疏注意力机制和分层变换器方法，对基于 Transformers 的长文本分类进行比较，探讨了四个文本分类数据集，并得出了实际应用此方法的实用建议。

Apr, 2022

提出了一种名为 “长短变压器” 的模型，其中使用自注意力机制处理长文本和高分辨率图像，同时引入了一种新型的远距离关注和短期关注机制，并采用双重归一化策略来处理两种注意力机制之间的规模差异。通过在多个语言和视觉任务中的表现，该方法优于现有的方法。

Jul, 2021

本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

Jan, 2023

评估长序列处理能力的医学大型语言模型和模型性能，引入长序列数据集 LongBoX，初步实验证明医学和一般领域大型语言模型对长序列的处理存在困难，通过两种长序列处理技术（局部 - 全局注意力、Fusion-in-Decoder）的评估，得出虽然在某些数据集上分数有所提高，但仍有较大改进空间，并希望 LongBoX 有助于开发更有效的长序列技术。

Nov, 2023

本研究提出了一种基于聚类的稀疏 Transformer 模型，它由滑动窗口层和 Cluster-Former 层组成，能够跨越窗口编码本地序列信息和全局上下文信息，这种新的设计在回答具有长程依赖性的问题时尤其有益，实验结果表明其在多项 QA 基准测试中实现了最先进的性能。

Sep, 2020

通过利用预训练的句子 transformers 对语义有意义的嵌入进行组合，结合文档长度线性扩展的小的注意力层，我们得到了与当前最先进模型竞争力的结果，特别是在冻结底层 transformers 的情况下，有助于避免完全微调。通过两个额外的实验进一步评估所研究的架构在比较简单的基线上的相关性。

Jul, 2023

本研究开发出一种新型的线性变压器，通过检验自我关注中关键查询产品的特性，发现其在语音识别和语音摘要方面优于现有的方法。

Oct, 2022