面向长文档分类的长度感知多核心变换器

May, 2024

面向长文档分类的长度感知多核心变换器

Length-Aware Multi-Kernel Transformer for Long Document Classification

Guangzeng Han, Jack Tsao, Xiaolei Huang

TL;DR长篇文档分类方面的研究中，我们提出了一种适应长文档的多核变换器（LAMKIT），通过使用多样化的基于变换器的核心来编码长篇文档，以解决上下文边界和文档长度差异性带来的问题，并通过这些核心向量化文本长度以提高模型的稳健性。在健康和法律领域的五个标准测试中，LAMKIT 相对于现有技术提升了高达 10.9% 的绝对改进。我们进行了大量的消融分析，以检验模型在不同文档长度上的稳健性和有效性。

Abstract

Lengthy documents pose a unique challenge to neural language models due to substantial memory consumption. While existing state-of-the-art (SOTA) models segment long texts into equal-length snippets (e.g., 128 tokens per snippet) or deploy sparse attention networks, these methods have

neural language models long document classification length-aware multi-kernel transformer model robustness varying document lengths

发现论文，激发创造

重新审视基于 Transformer 的长文档分类模型

本研究使用稀疏注意力机制和分层变换器方法，对基于 Transformers 的长文本分类进行比较，探讨了四个文本分类数据集，并得出了实际应用此方法的实用建议。

Apr, 2022

基于查询的长文档关键词提取

文章讨论了在自然语言处理中，基于 Transformer 的架构会有输入大小的限制问题，但该论文通过将长文档分块并保持全局上下文，以查询定义话题，从而克服了这个问题，开发的系统使用预训练的 BERT 模型并调整它来估计给定文本跨度形成关键短语的概率，实验结果表明，在长文档上，使用查询的较短上下文大小胜过没有查询的较长上下文。

May, 2022

聚焦 Transformer：上下文缩放的对比训练

提出了一种名为 Focused Transformer（FoT）的技术，通过对称的学习过程来增强（键，值）空间的结构，从而提供更长的上下文长度，有效地解决了大型语言模型在处理长文本时的局限性。

Jul, 2023

拓展与解释：解读超长语言模型

介绍了一种基于掩码采样过程（MSP）的方法，以解决长文本医疗领域的诊断预测问题。该方法可以识别出较多的临床信息文本块，并且比之前最先进的方法运行速度更快，可用于任何文本分类器。

Sep, 2022

长上下文语言模型对长上下文学习困难

在极限标签分类领域中，本研究介绍了一种专门的基准测试（LIConBench），重点关注长上下文学习。我们评估了 13 个长上下文大语言模型在我们的基准测试上，发现在 20K 的令牌长度下，大部分大语言模型表现相对良好且受益于利用长上下文窗口，然而，在上下文窗口超过 20K 后，除了 GPT-4 之外，大部分大语言模型表现出明显下降。这表明现有大语言模型在处理和理解长的上下文丰富序列时存在显著差距。我们的研究揭示了当前大语言模型在长上下文理解和推理方面仍存在挑战，我们相信 LIConBench 可以作为未来长上下文大语言模型的更切实可行的评估。

Apr, 2024

不同位置感知机制理解长文档

本篇论文提出了一种新型基于 transformer 的 1D 和 2D 位置感知注意力机制，实验结果表明，该模型在进行长篇文档理解时具有优势，易于基于其他基于 transformer 的架构进行扩展。

Aug, 2022

长程语言模型是否实际上使用了长程上下文？

该研究分析了两个能够接受高达 8K Token 的长文本转换器语言模型，发现将长距离上下文提供给这些模型只会在少数 Token 上提高其预测能力（例如可以从远处文本中复制的 Token），对于句子级别的预测任务没有任何帮助；并且长范围上下文对文学小说的帮助最大。

Sep, 2021

为长上下文理解的 Transformer 装备随机访问读取

长文本建模提出了对基于 Transformer 的大型语言模型（LLMs）的重大挑战，我们提出了一种新的阅读策略，即随机访问，可以使 Transformer 模型在处理长文档时高效地跳过不相关的标记。通过预训练、微调和推理阶段的实验证明了我们方法的有效性。

May, 2024

Longformer：长文档转换器

Longformer 是一种基于 Transformers 的模型，采用能够线性缩放序列长度的自注意力机制，使得处理数千个记号以上的文档变得容易；与先前的一些工作不同的是，Longformer 同时进行了预训练和下游任务的微调，并在 WikiHop 和 TriviaQA 等任务上取得了新的最优结果。此外，Longformer 还引入了 Longformer-Encoder-Decoder（LED）以支持长文档的生成序列对序列任务。

Apr, 2020

数据集分解：使用可变序列长度课程进行更快的 LLM 训练

通过数据集分解、变长序列训练技术、性能增强等方法，实现了对大型语言模型的高效训练和提升。

May, 2024