long contexts | BriefGPT - AI 论文速递

关键词long contexts

搜索结果 - 9

远程文本对哪些标记有益处？长上下文语言建模分析
研究论文探索了长文本语言模型中哪一种词汇能够更多地受益于长上下文，通过分析文本的概率变化，发现内容词汇和词汇的起始部分受益最大，上下文中的频繁模式也对预测产生显著影响，同时，模型的先验知识对预测尤为重要，尤其是对于罕见的词汇，语言模型在长上
PDF17 days ago
智能代理链：大型语言模型在长文本任务上的协作
通过多个代理的协作，链式代理（CoA）框架能够处理长上下文任务，凭借信息聚合和上下文推理，有效提升任务质量。
PDFa month ago
LLoCO：离线学习长上下文
通过上下文压缩和领域内参数高效微调，我们提出了一种解决大型语言模型处理长篇内容的挑战的新方法，使得 LLM 能够创建原始上下文的简洁表示，并有效地检索相关信息以准确回答问题。我们介绍了 LLoCO，一种通过使用 LoRA 组合上下文压缩、检
PDF3 months ago
无穷 Bench：将长上下文评估扩展至 10 万标记
大语言模型处理长上下文是许多实际应用的关键，有必要评估和比较它们在处理 100K + 上下文时的能力。本文提出了第一个超过 100K 标记平均数据长度的大语言模型基准测试，对处理长上下文的现有模型进行了评价，并提出了对处理长上下文的大语言模
PDF4 months ago
检索增强的思维过程作为顺序决策制定
采用检索增强式思维过程（Retrieval-Augmented Thought Process）解决大型语言模型（Large Language Models）在隐私、幻觉和长上下文处理方面的挑战，从而在处理私人数据的问答任务中实现了与现有上
PDF5 months ago
从 4K 到 400K：用激活信标扩展 LLM 的上下文
利用 Activation Beacon 插件来压缩语言模型的原始激活，从而使其在有限上下文窗口的情况下能感知更长的上下文，提高 LLM 的长文本处理能力。
PDF6 months ago
LLM 或许为 LongLM: 无需调整自我延伸 LLM 上下文窗口
通过自扩展方法，利用现有的大型语言模型的内在能力来处理长文本，并延伸其上下文窗口，以有效应对长输入序列。
PDF6 months ago
迷失在中间：语言模型如何使用长上下文
我们分析了语言模型在多文档问答和键值检索两个任务中的性能，发现当相关信息出现在输入上下文的开头或结尾时，性能通常最高，而在长上下文中访问相关信息时性能显著下降。此外，随着输入上下文的增长，性能显著降低，即使是专门用于长上下文的模型也如此。我
PDFa year ago
将语言模型适应于压缩上下文
该论文旨在介绍一种新型的 AutoCompressors 语言模型，可以将长文档内容压缩成简洁的总结向量，并将其用作语言模型的轻提示，从而提高了模型处理长文本时间的效率，并在任务演示、检索等领域取得了显著进展。
PDFa year ago