LM-Infinite：大语言模型的简易即时长度泛化

Aug, 2023

LM-Infinite：大语言模型的简易即时长度泛化

LM-Infinite: Simple On-the-Fly Length Generalization for Large Language Models

Chi Han, Qifan Wang, Wenhan Xiong, Yu Chen, Heng Ji...

TL;DR基于 Transformer 的大型语言模型存在长度泛化问题，传统的预训练模式需要耗费大量时间和资源进行解决，本研究提出了一种简单而有效的解决方案 LM-Infinite，不需要参数更新或学习，具有计算效率高且生成质量好的特点，在长序列上有较之前的模型更好的表现。

Abstract

In recent years, there have been remarkable advancements in the performance of transformer-based large language models (LLMs) across various domains. As these LLMs are deployed for increasingly complex tasks, they often face the needs to conduct longer reasoning processes or understand

transformer-based large language models length generalization failure pre-training schemes lm-infinite downstream tasks

发现论文，激发创造

InfLLM: 揭示 LLM 对于无需训练的记忆理解极长序列的内在能力

通过引入一种无需训练的基于内存的方法 InfLLM，使得大型语言模型 (LLM) 能够高效处理长序列并捕获远距离依赖关系。

Feb, 2024

大型语言模型中的长度泛化探究

该研究探讨了基于 transformer 的语言模型的长度推广能力，发现预训练大语言模型的上下文学习能力与记事本提示相结合能大大改善长度推广，并鉴别了错误的共同来源，为赋予语言模型推广到更长问题的能力提供了新的机会。

Jul, 2022

高效的无限上下问 Transformer 与无限注意力

该研究介绍了一种有效的方法，用于将基于 Transformer 的大型语言模型扩展到无限长的输入，同时保证有界的内存和计算。我们提出的方法的关键组成部分是一种称为 Infini-attention 的新的注意力技术，它将压缩性记忆融入到传统的注意力机制中，并在单个 Transformer 块中集成了被屏蔽的局部注意力和长期线性注意力机制。我们在长文本语言建模、1M 序列长度密钥上下文块检索和 500K 长度的书籍摘要任务上展示了我们方法的有效性，使用 1B 和 8B 规模的大型语言模型。我们的方法引入了最小化的有界内存参数，并实现了 LLMs 的快速流式推理。

Apr, 2024

XL3M：一种基于分段推理的无需训练的 LLM 长度扩展框架

用 XL3M 框架，将上下文分解成多个独立片段并通过衡量其与 “问题” 的相关性来构建一个简明的关键上下文，从而解决了大语言模型在处理超长文本时的泛化失败问题，并在推理任务中展现了卓越的性能。

May, 2024

SirLLM: 流式无限保留 LLM

通过使用流输入和令牌熵度量以及内存衰减机制，SirLLM 克服了长文本输入对 LLMs 的内存限制，并在不需要调整的情况下，帮助 LLMs 在无限对话中保持更长时间的记忆。

May, 2024

Infini-gram：扩展至万亿标记的无界 n-gram 语言模型

n-gram 语言模型在神经网络大型语言模型时代仍然具有重要意义，本研究展示了其在文本分析和改进神经网络大型语言模型中的价值，并从两个方面对 n-gram 模型进行现代化改进：在与神经网络大型语言模型相同的数据规模下进行训练，建立最大的 n-gram 模型，以及允许 n 的大小任意增加，并引入具备毫秒级延迟的 suffix 数组驱动引擎 infini-gram 来计算无限阶的 n-gram 概率。

Jan, 2024

随着文本增加，需求加大：推理时间训练有助于长文本生成

通过在长文本生成过程中使用临时的 Lora 模块来嵌入信息，我们的提出的方法 Temp-Lora 有效地保留上下文知识，提高了生成质量，同时降低了计算成本。

Jan, 2024

E^2-LLM：大型语言模型的高效和极端长度扩展

我们提出了一种名为 E2-LLM 的高效和极长扩展的大型语言模型方法，通过减少计算成本并对不同样本进行增强方法来在推理时支持任意上下文长度，实验结果表明其在具有挑战性的长上下文任务中的有效性。

Jan, 2024

GrowLength: 通过逐步增长训练长度来加速 LLMs 预训练

通过增加训练长度加速大型语言模型 (LLL) 的预训练过程，从而提高效率、减少计算成本，并改善性能。

Oct, 2023

大型语言模型的超出分布检测能力如何？

通过对大型语言模型进行实证研究，本文发现余弦距离的异常检测器表现出卓越的效力，优于其他异常检测器，并通过强调大型语言模型嵌入空间的各向同性特征，提供了对这一现象的有趣解释，进一步增强了我们对大型语言模型在检测异常数据方面的适应性和可靠性。

Aug, 2023