大语言模型的提示压缩：综述
本文介绍了一种新的压缩大型语言模型（LLM）的方法：通过使用精确的提示信息作为输入来提高压缩模型的预测准确性，以平衡其准确性和效率。研究表明，压缩LLMs通过这种提示学习方法能够匹配或超过原模型的准确性，这为LLMs的推断和扩展提供了新的可能性。
May, 2023
该论文提供了针对大型语言模型的模型压缩技术的综述调查，涵盖量化、修剪、知识蒸馏等各种方法，并探讨了压缩后的大型语言模型的基准策略和评估指标，旨在促进效率和实际应用的提升，为领域的未来发展奠定了基础。
Aug, 2023
尽管现代大型语言模型在取得显著成就的同时遇到了过高的计算和内存占用问题，但最近的研究工作展示了基于裁剪和量化的无需训练和无需数据的压缩方法在压缩大型语言模型方面取得了显著成功。本研究介绍了一种名为LLM-KICK的压缩语言模型评估协议，通过其揭示了当前最先进的压缩方法的优点和缺点，并展示了稀疏化和量化对于语言理解、推理、生成、检索和摘要等任务的影响。我们希望这项研究能够促进更好的语言模型压缩方法的发展。
Oct, 2023
通过压缩提示信息，提高大型语言模型对关键信息的感知能力，从而解决高计算/财务成本、延迟时间长和性能劣势等问题。在各种长篇上下文场景下，通过使用LongLLMLingua压缩的提示信息，大型语言模型的性能得到提高，成本降低，以及端到端延迟时间减少。
Oct, 2023
本研究针对当前提示压缩方法面临的低压缩比和评估期间可能的数据泄露问题，提出了500倍压缩器。这种方法能够将大量自然语言上下文压缩为一个特殊的标记，结果显示在使用压缩提示时，语言模型仍能保留62.26%-72.89%的能力，展现出极大的压缩潜力和广泛的应用前景。
Aug, 2024
本研究针对大型语言模型在处理长提示时的计算成本与效率问题，提出了一种名为LanguaShrink的创新性提示压缩框架。该框架利用心理语言学原理和艾宾浩斯记忆曲线，实现任务无关的提示压缩，显著减少提示长度的同时保留关键信息，实验结果显示在保持语义相似性的情况下，压缩比可达26倍，并且比现有方法提高了1.43倍的端到端延迟性能。
Sep, 2024
本研究解决了大型语言模型推理过程中面临的高内存消耗和处理速度慢的问题，特别是在资源受限的设备上。通过探讨量化、知识蒸馏和剪枝等模型级压缩方法，提供了有效的压缩技术，以保持模型性能并提升其在多种平台上的可用性和实用性。
Sep, 2024
本研究针对使用大语言模型（LLMs）时长提示导致的内存和推理成本增加问题，探讨了提示压缩的有效方法。论文综述了硬提示和软提示的技术比较，分析了其机制，并提出了未来优化的方向，旨在推动该领域的进步。主要发现是提示压缩能显著提高大语言模型的效率，为进一步研究提供了潜在影响。
Oct, 2024