context compression | BriefGPT

关键词context compression

搜索结果 - 6

内上下文格式：大型语言模型的快速压缩上下文
通过使用 In-Context Former 方法，我们成功减少了基于 Transformer 的大型语言模型的压缩成本，并使得实时压缩的场景成为可能。
PDF15 days ago
ACL高压缩比下的关键信息保留：基于查询引导的 LLMs 压缩器
在高压缩比率下保留关键信息对于维持大型语言模型性能的重要性以及引入使用查询来指导上下文压缩过程的 Query-Guided Compressor (QGC) 的有效性进行了验证，并展示了 QGC 在问题回答任务上能够在高压缩比率下始终表现良
PDFa month ago
xRAG：一令牌极其上下文压缩的检索增强生成
xRAG 是一种针对检索增强生成的创新上下文压缩方法，通过模态融合的方法将文档嵌入重新解释为来自检索模态的特征，并在语言模型表示空间中无缝集成这些嵌入以实现极高的压缩率。实验证明，xRAG 在六个强调知识的任务中达到了平均改进 10% 以上
PDFa month ago
LLoCO：离线学习长上下文
通过上下文压缩和领域内参数高效微调，我们提出了一种解决大型语言模型处理长篇内容的挑战的新方法，使得 LLM 能够创建原始上下文的简洁表示，并有效地检索相关信息以准确回答问题。我们介绍了 LLoCO，一种通过使用 LoRA 组合上下文压缩、检
PDF3 months ago
学习压缩自然语言格式中的提示
通过将较长的提示转换为自然语言格式的胶囊式提示，利用奖励函数和长度约束来优化 Nano-Capsulator 框架，该框架可以在保持提示效用和可迁移性的同时，减少 81.4％的长度、提高推理速度 4.5 倍，并降低 80.1％的预算开销。
PDF4 months ago
大型语言模型中上下文压缩的上下文自编码器
本文提出了一种上下文自动编码器（ICAE），用于大型语言模型中的上下文压缩，并且证实了 ICAE 的潜在推广价值。
PDFa year ago