压缩后即提示：通过可转移提示提高 LLM 推理的准确性和效率平衡

May, 2023

压缩后即提示：通过可转移提示提高 LLM 推理的准确性和效率平衡

Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt

Zhaozhuo Xu, Zirui Liu, Beidi Chen, Yuxin Tang, Jue Wang...

TL;DR本文介绍了一种新的压缩大型语言模型（LLM）的方法：通过使用精确的提示信息作为输入来提高压缩模型的预测准确性，以平衡其准确性和效率。研究表明，压缩 LLMs 通过这种提示学习方法能够匹配或超过原模型的准确性，这为 LLMs 的推断和扩展提供了新的可能性。

Abstract

large language models (LLMs), armed with billions of parameters, exhibit exceptional performance across a wide range of Natural Language Processing (NLP) tasks. However, they present a significant computational challenge during inference, especially when deploying on common hardware su

large language models compression prompt learning accuracy efficiency

发现论文，激发创造

LLMLingua：压缩大型语言模型推理加速的提示

LLMLingua 是一种粗粒度到细粒度的提示压缩方法，利用预算控制器、基于令牌级的迭代压缩算法和基于指令调整的语言模型分布对齐方法，实现高压缩率下语义完整性的维持，有效加速模型推理并降低成本。在多个不同场景的数据集上的实验和分析表明，该方法在性能上达到了最先进的水平，并且能够在保证性能损失很小的情况下进行高达 20 倍的压缩。

Oct, 2023

(动态) 提示可能足以修复压缩的 LLM 模型

大型语言模型，困惑度，压缩，基于提示的恢复，推理时动态提示。

Oct, 2023

学习压缩自然语言格式中的提示

通过将较长的提示转换为自然语言格式的胶囊式提示，利用奖励函数和长度约束来优化 Nano-Capsulator 框架，该框架可以在保持提示效用和可迁移性的同时，减少 81.4％的长度、提高推理速度 4.5 倍，并降低 80.1％的预算开销。

Feb, 2024

通过软提示压缩使 LLMs 适应高效上下文处理

该研究提出了一种名为 SoftPromptComp 的创新框架，它通过集成自然语言摘要、软提示压缩和增强型效用保留机制来为大语言模型提供流畅的上下文处理。研究结果表明，该框架显著降低了计算负担，并提高了大语言模型在各项基准测试中的效力，同时保持或增强所生成内容的质量。该研究为优化语言模型提供了见解，并探讨了软提示和摘要技术作为未来自然语言处理解决方案的关键工具的潜力。

Apr, 2024

LongLLMLingua：通过提示压缩加速和增强长背景下的 LLMs

通过压缩提示信息，提高大型语言模型对关键信息的感知能力，从而解决高计算 / 财务成本、延迟时间长和性能劣势等问题。在各种长篇上下文场景下，通过使用 LongLLMLingua 压缩的提示信息，大型语言模型的性能得到提高，成本降低，以及端到端延迟时间减少。

Oct, 2023

LLMLingua-2: 数据去噪以提升高效及精确的无要求任务的提示压缩

通过使用数据蒸馏方法，我们提出了一种基于 Transformer 编码器的令牌分类问题的任务无关提示压缩方法，以更高的效率压缩提示，降低延迟。

Mar, 2024

离散提示压缩与强化学习

本研究提出了一种基于强化学习的离散提示压缩方法 (PCRL)，通过使用计算效率高的策略网络直接编辑提示，实现对各种类型的语言模型以及解码器和编码器 - 解码器架构的灵活应用，同时减少平均令牌数量 24.6%，且保持性能不变。此外，通过多种分析，揭示了提示中令牌重要性的理解。

Aug, 2023

大型语言模型的高效提示方法综述

在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

Apr, 2024

对话模型的节约提示

研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

May, 2023

低延迟大型语言模型的 LiveMind：具有同时推理的特性

本文介绍了一种用于大型语言模型（LLMs）的新型低延迟推断框架，使 LLMs 能够使用不完整的提示进行推断，并通过重新分配计算过程到提示输入阶段，实现了大幅度的延迟降低，从而显著提高用户与 LLMs 的交互体验。该框架灵活地管理模型对流式提示的可见性，允许它从不完整的提示中进行推断或等待附加提示。与使用完整提示的传统推断方法相比，我们的方法在 MMLU-Pro 数据集上表现出平均响应延迟减少 59％，同时保持相当的准确性。此外，我们的框架促进了不同模型之间的协同推断和输出。通过使用 LLM 进行推断和使用小型语言模型（SLM）进行输出，与 SLM 基线相比，我们在 MMLU-Pro 数据集上实现了平均响应延迟减少 68％，准确性提高了 5.5％。对于超过 20 个句子的长提示，响应延迟可以降低高达 93％。

Jun, 2024