本研究通过让模型处理带有分散注意力内容的填空任务，检验了预训练语言模型利用关键上下文信息的能力；研究结果表明，模型往往只是依靠表面上与上下文有关的信息进行预测，而对于上下文语境的理解能力不及预期。

Sep, 2021

大语言模型的出现在自然语言处理领域具有重大突破，但是它们在上下文长度的推断方面常常存在限制。了解和扩展大语言模型的上下文长度对于提升其在各种自然语言处理应用中的性能至关重要。本综述论文将深入探讨为什么扩展上下文长度以及先进技术可能带来的潜在变革。我们研究了扩展上下文长度所固有的挑战，并对研究人员采用的现有策略进行了有组织的概述。此外，我们讨论了评估上下文扩展技术的复杂性，并突出研究人员在该领域面临的开放性挑战。此外，我们探讨了研究界对于评估标准是否存在共识，并确定了需要进一步达成共识的领域。这份全面的综述旨在为研究人员提供有价值的资源，引导他们了解上下文长度扩展技术的技巧，并促进对这一不断发展领域的未来进展的讨论。

Jan, 2024

在该研究中，我们通过实验证明，模板标记和停用词标记是最容易成为任务编码标记的标记类型，并且我们的研究为大型语言模型在上下文学习中如何利用任务推理过程提供了额外的见解，并建议未来的研究可以使用任务编码标记来提高语言模型在推理时间和处理长序列方面的计算效率。

Jan, 2024

通过对注意力头的运行进行详细分析，我们发现特定的注意力头在上下文学习的能力中具有重要的语义联系，从而推进了我们对transformers中注意力头运行的复杂操作和大语言模型上下文学习的新洞察。

Feb, 2024

大语言模型处理长上下文是许多实际应用的关键，有必要评估和比较它们在处理100K+上下文时的能力。本文提出了第一个超过100K标记平均数据长度的大语言模型基准测试，对处理长上下文的现有模型进行了评价，并提出了对处理长上下文的大语言模型行为的三个有趣分析。

Feb, 2024

该研究提出了一种名为SoftPromptComp的创新框架，它通过集成自然语言摘要、软提示压缩和增强型效用保留机制来为大语言模型提供流畅的上下文处理。研究结果表明，该框架显著降低了计算负担，并提高了大语言模型在各项基准测试中的效力，同时保持或增强所生成内容的质量。该研究为优化语言模型提供了见解，并探讨了软提示和摘要技术作为未来自然语言处理解决方案的关键工具的潜力。

Apr, 2024

基于梯度的度量方法探索了大型语言模型内部的参数激活程度，发现参数在浅层被密集激活，而在深层被稀疏激活；当输入跨越不同领域时，浅层参数的激活行为更相似；在深层，参数的激活分布与实际数据相关性呈正相关；进一步验证了这些发现，并期望能在实际应用中产生更多启发。

May, 2024

我们提出了一种简单而有效的方法，通过将文本分割成多个块并在每个块的末尾插入特殊标记<SR>，修改注意力掩码以将块的信息整合到相应的<SR>标记中，从而使LLMs能够从历史上的个别标记以及<SR>标记中解释信息，从而汇集块的语义信息。通过语言建模和领域外下游任务的实验验证了我们方法的优越性。

Jun, 2024

研究论文探索了长文本语言模型中哪一种词汇能够更多地受益于长上下文，通过分析文本的概率变化，发现内容词汇和词汇的起始部分受益最大，上下文中的频繁模式也对预测产生显著影响，同时，模型的先验知识对预测尤为重要，尤其是对于罕见的词汇，语言模型在长上下文下变得更加自信，这种过度自信可能导致远程上下文信息中的词汇概率增加，希望该分析有助于更好地理解长文本语言建模并设计更可靠的长上下文模型。

Jun, 2024

本研究解决了大型语言模型（LLMs）在理解内部输入数据处理过程中的黑箱问题。我们提出了一种定量法则，揭示每一层在提高下一标记预测的准确性方面均作出相等贡献。这一发现对LLM的设计、训练和应用具有重要影响，提供了新的指导思路。

Aug, 2024