大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力，并有潜力对我们的社会产生重大影响。然而，这些能力所需的资源相当可观，强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果，从模型中心、数据中心和框架中心的角度，将文献进行了分类整理。我们还创建了一个 GitHub 存储库，在这个存储库中收集了本调研中涉及的论文，并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源，帮助他们系统地了解高效大型语言模型的研究进展，并激励他们为这个重要而激动人心的领域做出贡献。

Dec, 2023

基于最近的研究，我们通过实验表明，大语言模型（LLMs) 缺乏规划所需的必要技能。基于这些观察，我们提倡将 LLMs 与经典规划方法相结合的混合方法的潜力。然后，我们引入了一种新颖的混合方法 SimPlan，并在一个新的具有挑战性的环境中评估其性能。我们在各种规划领域进行了大量实验，结果表明 SimPlan 明显优于现有的基于 LLMs 的规划器。

Feb, 2024

大型语言模型（LLMs）的资源效率调查，系统地介绍了提高 LLMs 资源效率的各种技术，包括优化策略、评估指标和可持续发展。

Jan, 2024

研究了通用 Web 语料库上训练的语言模型的计划能力，开发了基于国际计划竞赛领域的基准套件，在自治、启发式和人机协作模式下对 LLM 进行了评估，发现自主生成可执行计划的能力非常有限，只有约 3% 的成功率。

Feb, 2023

本文旨在研究 LLLms 在常识规划任务中的规划能力，通过在国际计划竞赛中生成一系列实例，并评估 LLMs 在自主规划和启发式两种不同模式下的表现，发现 LLMs 在自主规划方面的表现非常有限，但在启发式模式下，LLMs 生成的计划可以改善其它智能计划器的搜索过程并提供反馈以进一步验证计划质量。

May, 2023

将大型语言模型作为自主代理的规划模块，通过提供现有作品的分类和全面分析，讨论了任务分解、计划选择和外部模块等方向在 LLM-Agent 规划中的进展和挑战。

Feb, 2024

这是第一项研究应用大语言模型（LLMs）进行自动规划任务模型空间编辑的工作。我们探索了 AI 规划文献中研究的两种不同类型的模型空间问题，以及 LLM 对这些任务的影响。我们通过实验证明了 LLM 的性能与组合搜索（CS）的对比情况，以及 LLM 作为独立模型空间推理器以及作为与 CS 方法结合的统计信号的双阶段过程的一部分时的性能。我们的实验结果表明，LLM 在未来进一步探索规划任务中的模型空间推理的前景很有希望。

Nov, 2023

通过对大型语言模型（LLMs）嵌入已知的规划框架中的研究，我们展示了在各种规划领域中，这种新型基于 LLMs 的规划框架的有效性。

Feb, 2024

大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题，本文对提高大规模语言模型推理效率的现有技术文献进行了综述，介绍了数据层、模型层和系统层优化的方法，并通过实验进行了定量分析，最后总结了相关知识，并探讨了未来研究方向。

Apr, 2024

综述了旨在改善大型语言模型 (Large Language Models) 效率的算法进展，包括扩展法则、数据利用、架构创新、训练和调优策略以及推理技术等多个方面，旨在为研究人员和从业者提供宝贵的资源，并为未来的创新奠定基础。

Dec, 2023