context windows | BriefGPT - AI 论文速递

关键词context windows

搜索结果 - 6

LongIns: 一个对 LLMs 具有挑战性的基于长文本上下文的考试
利用 LongIns benchmark dataset 在长背景下评估大型语言模型的推理性能及上下文窗口长度对其表现的影响。
PDF11 days ago
RepoQA：评估长上下文的代码理解
RepoQA 是一个多语言且综合性的基准测试，评估了 LLMs 在长上下文代码理解上的能力，并展示了开源和专有模型之间仍存在着一小段差距，不同模型在不同编程语言上具有良好的表现，而没有注释的代码可能会更好地被模型理解。
PDFa month ago
大型语言模型的免训练长篇背景文本扩展
通过使用 Dual Chunk Attention (DCA) 来实现对超过 100k 个 token 的上下文窗口的支持，从而达到与有限调优模型相媲美，甚至更好性能的 70B 模型。
PDF4 months ago
KVQuant: 通过 KV 缓存量化实现 1000 万上下文长度的 LLM 推断
LLMs 在大文本分析和摘要等需要大上下文窗口的应用中得到越来越广泛的应用，KV 缓存激活成为推断过程中存储器占用的主要贡献者。本研究通过引入新颖的方法对缓存的 KV 激活进行量化，包括：（i）通道关键激活量化，（ii）Rotary 位置嵌
PDF5 months ago
非固定长度对话情感检测
本研究提出了一种利用特定的上下文窗口，包括两种具体建模方法和一种合适的规范化方式，用于在多个公共数据集上预测情感的方法。
PDFa year ago
并行上下文窗口提高大型语言模型的上下文学习能力
本文提出了一种名为 Parallel Context Windows (PCW) 的方法，可缓解任何现成的 LLM 的上下文窗口限制，该方法通过将长上下文分成适合于模型的块（“窗口”）来限制注意机制的应用范围，并在窗口之间重用位置嵌入。我们
PDF2 years ago