BudgetLongformer：我们能否以低成本从头开始预训练 SotA 法律语言模型？

Nov, 2022

BudgetLongformer：我们能否以低成本从头开始预训练 SotA 法律语言模型？

BudgetLongformer: Can we Cheaply Pretrain a SotA Legal Language Model From Scratch?

Joel Niklaus, Daniele Giofré

TL;DR通过 Replaced Token Detection 任务提高训练信号量，我们训练了 Longformer 模型来展示使用更少的计算力可以预训练高效的语言模型，并在长文本摘要任务上取得了很好的性能。

Abstract

pretrained transformer models have achieved state-of-the-art results in many tasks and benchmarks recently. Many state-of-the-art Language Models (LMs), however, do not scale well above the threshold of 512 input tokens. In specialized domains though (such as legal, scientific or biome

pretrained transformer models long text processing efficient models replaced token detection summarization tasks

发现论文，激发创造

使用预训练变形器处理长法律文件：修改 LegalBERT 和 Longformer

本研究探讨了两个方向来处理长篇的法律文本：一是修改从 LegalBERT 启动的 Longformer 以处理更长的文本，二是修改 LegalBERT 以使用 TF-IDF 表示。结果发现，第一个方法表现最佳，在 LexGLUE 中胜过 LegalBERT 的分层版本；第二个方法计算效率更高，而且仍然优于 TF-IDF 特征的线性 SVM。

Nov, 2022

基于预训练语言模型的长篇临床文本比较研究

本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

Jan, 2023

领域特定预训练模型的重要性：相较通用模型而言

研究表明，对面向单一领域的数据进行预训练，也可以得到性能强大且经济实惠的替代解决方案，本文以 StackOverflow 为例，使用 SOBertBase 和 SOBertLarge 模型在该领域上预训练，并在 SO 特定的四个下游任务上验证了其表现优于基线和大型通用模型。

Jun, 2023

Longformer：长文档转换器

Longformer 是一种基于 Transformers 的模型，采用能够线性缩放序列长度的自注意力机制，使得处理数千个记号以上的文档变得容易；与先前的一些工作不同的是，Longformer 同时进行了预训练和下游任务的微调，并在 WikiHop 和 TriviaQA 等任务上取得了新的最优结果。此外，Longformer 还引入了 Longformer-Encoder-Decoder（LED）以支持长文档的生成序列对序列任务。

Apr, 2020

测试集上的预训练就足够了

通过精心策划的数据预训练，使用新颖的数据混合集，我们的 Transformer-based 语言模型 phi-CTNL 在多个学术基准测试中完美表现，并打破了已知基础模型的记录，同时还展现了前所未有的准确预测下游评估基准的能力。

Sep, 2023

长程变压器的自然语言处理任务效率

比较研究了多种 Transformer 模型的性能，发现长序列的改进版本在内容选择和查询引导解码方面有优势，但在处理远距离的信息和近似误差上有欠缺的地方。

Feb, 2022

预训练语言模型用于电力时间序列预测

通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

Feb, 2023

自检索的长距离语言建模

本文中，我们提出了一种用于从头开始联合训练检索增强语言模型的架构和训练流程，名为 Retrieval-Pretrained Transformer（RPT），并使用四个长程语言建模任务进行了评估，横跨图书、代码和数学写作，证明了与强基线相比，RPT 改善了整体的检索质量和困惑度。

Jun, 2023

使用精调预训练的大型语言模型进行法律文件起草

通过在大量无标注的法律文件上进行微调，利用本地计算机上的预训练的大规模语言模型可以实现生成法律文件草案的任务，并同时保护信息隐私和提高信息安全性。

Jun, 2024

深呼吸：用哨兵标记增强大型语言模型的语言建模

我们提出了一种简单而有效的方法，通过将文本分割成多个块并在每个块的末尾插入特殊标记 <SR>，修改注意力掩码以将块的信息整合到相应的 <SR> 标记中，从而使 LLMs 能够从历史上的个别标记以及 <SR> 标记中解释信息，从而汇集块的语义信息。通过语言建模和领域外下游任务的实验验证了我们方法的优越性。

Jun, 2024