本研究探讨了两个方向来处理长篇的法律文本：一是修改从 LegalBERT 启动的 Longformer 以处理更长的文本，二是修改 LegalBERT 以使用 TF-IDF 表示。结果发现，第一个方法表现最佳，在 LexGLUE 中胜过 LegalBERT 的分层版本；第二个方法计算效率更高，而且仍然优于 TF-IDF 特征的线性 SVM。

Nov, 2022

比较研究了多种 Transformer 模型的性能，发现长序列的改进版本在内容选择和查询引导解码方面有优势，但在处理远距离的信息和近似误差上有欠缺的地方。

Feb, 2022

通过 Replaced Token Detection 任务提高训练信号量，我们训练了 Longformer 模型来展示使用更少的计算力可以预训练高效的语言模型，并在长文本摘要任务上取得了很好的性能。

Nov, 2022

提出两种新方法，降低输入长度并在语言建模中实现困惑度和效率的提升。首先，我们研究了短输入的优点并发现通过训练模型的短子序列可以减少训练时间和提高困惑度。其次，我们提高了 transformers 的递归方法的效率，这是一种让模型在生成超过 transformer 一次可以处理的最大长度的序列时依赖于先前处理的令牌的方法。我们引入了一个简单的替代方法，通过将绝对位置嵌入到查询和键中而不是嵌入到单词中，可以在保持结果优越的情况下提高计算效率。将这些技术结合起来可以加速训练 1.65 倍，减少内存使用，并显著提高 WikiText-103 上的困惑度，而不会添加任何参数。

Dec, 2020

研究表明，即使较小的 Transformer 模型在每次迭代中执行更快，较宽且较深的模型在明显更少的步骤中收敛。此外，大型模型比小型模型更 robust，因此，高度压缩的大型模型实现比轻度压缩的小型模型更高的准确性

Feb, 2020

本文提出了一种基于 VIP-Token 的压缩方案，能够显著减少 Transformer 模型对 n 的复杂度依赖，大大提高了超长序列的处理效率，并在多个任务上表现出了优秀的性能和扩展性。

May, 2023

本文介绍了使用 Tensor2Tensor 框架和 Transformer 序列到序列模型进行神经机器翻译的实验。研究比较了影响最终翻译质量、内存使用、训练稳定性和时间的一些关键参数，并给出了一些实用建议，包括扩展到多个 GPU 的方法、对批处理大小、学习率、预热步数、最大句子长度和检查点平均值的改进建议。希望本文的观察对其他研究人员有所帮助。

Apr, 2018

本研究对 Transformer 模型在低资源语言翻译中的应用进行了探究，发现过度追求模型大小存在负面影响，需要注意调整超参数以提高性能。同时，本研究旨在挖掘更佳的模型性能，以推动 “Masakhane” 项目的发展。

Apr, 2020

本篇论文综述了最新的基于 Transformer 模型的长文本建模技术，其中介绍了长文本模型的定义、如何满足输入长度限制和改进 Transformer 的架构以有效扩展最大上下文长度，以及如何适应长文本的特殊特性。并且描述了长文本建模的四个典型应用，并探讨了未来的研究方向。

Feb, 2023

通过动态 Pooling 和自回归机制，使得 Transformer 模型在其计算资源内的表现更快更准确。

Nov, 2022