prompt compression | BriefGPT

关键词prompt compression

搜索结果 - 8

内部化循环提示在大型语言模型微调中节约推理成本
通过渐进性微调将提示知识内化到模型参数中，我们的方法能够使 LLMs 在新任务中模拟人类学习过程，并逐渐适应该任务，从而减少推理标记超过 90％、加速推理 4.2 倍、节省 88.3％的费用。
PDF4 days ago
SelfCP: 使用冻结的大型语言模型将长提示压缩至 1/12
本文提出了 SelfCP，通过使用 Large Language Models （LLMs）自身来将长提示压缩为紧凑的虚拟标记，实现了无条件和有条件提示的压缩，适应标准任务和具有特定目标的任务。结果表明，压缩的虚拟标记可以有效地替代原始提示
PDFa month ago
PROMPT-SAW: 基于关系感知图的文本提示压缩
使用 PROMPT-SAW 方法进行的压缩提示在可读性方面表现更好，在任务感知和任务无关设置中分别超越了最佳基线模型 14.3 和 13.7，同时压缩了原始提示文本 33.0 和 56.7。
PDF3 months ago
PCToolkit: 大型语言模型的统一即插即用提示压缩工具包
Prompt Compression Toolkit 是一个用于在大型语言模型中压缩提示的统一插拔解决方案，提供先进的压缩算法、多样化数据集和全面性能评估指标。
PDF3 months ago
言之有物：通过要旨压缩理解提示学习行为
该研究提出了 Gist COnditioned deCOding (Gist-COCO) 模型，利用编码器和解码器构建语言模型，并使用附加的编码器插件模块进行输入压缩，将表示的要点标记转化为要点提示，以高压缩率优于以往的要点压缩模型，辅助大
PDF4 months ago
LongLLMLingua：通过提示压缩加速和增强长背景下的 LLMs
通过压缩提示信息，提高大型语言模型对关键信息的感知能力，从而解决高计算 / 财务成本、延迟时间长和性能劣势等问题。在各种长篇上下文场景下，通过使用 LongLLMLingua 压缩的提示信息，大型语言模型的性能得到提高，成本降低，以及端到端
PDF9 months ago
EMNLPLLMLingua：压缩大型语言模型推理加速的提示
LLMLingua 是一种粗粒度到细粒度的提示压缩方法，利用预算控制器、基于令牌级的迭代压缩算法和基于指令调整的语言模型分布对齐方法，实现高压缩率下语义完整性的维持，有效加速模型推理并降低成本。在多个不同场景的数据集上的实验和分析表明，该方
PDF9 months ago
离散提示压缩与强化学习
本研究提出了一种基于强化学习的离散提示压缩方法 (PCRL)，通过使用计算效率高的策略网络直接编辑提示，实现对各种类型的语言模型以及解码器和编码器 - 解码器架构的灵活应用，同时减少平均令牌数量 24.6%，且保持性能不变。此外，通过多种分
PDFa year ago