本文提出了一种高效的大语言模型推理流水线方法，该方法利用大语言模型的潜力来准确感知和预测响应长度，并通过引入有效的序列调度技术对响应长度相似的查询进行微批处理，从而实现了86％的推理吞吐量的提高，同时不影响其效果。该方法是现有工具包（如FlashAttention，Quantization）中的一个宝贵补充。

May, 2023

综述了旨在改善大型语言模型(Large Language Models)效率的算法进展，包括扩展法则、数据利用、架构创新、训练和调优策略以及推理技术等多个方面，旨在为研究人员和从业者提供宝贵的资源，并为未来的创新奠定基础。

Dec, 2023

大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力，并有潜力对我们的社会产生重大影响。然而，这些能力所需的资源相当可观，强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果，从模型中心、数据中心和框架中心的角度，将文献进行了分类整理。我们还创建了一个GitHub存储库，在这个存储库中收集了本调研中涉及的论文，并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源，帮助他们系统地了解高效大型语言模型的研究进展，并激励他们为这个重要而激动人心的领域做出贡献。

Dec, 2023

人工智能中生成式大型语言模型的高效部署方法的综述

Dec, 2023

ChatGPT的引入使得大型语言模型（LLM）被广泛应用于解决后续任务，而在此背景下，低成本的LLM培训和部署代表着未来的发展趋势。本文回顾了与这一新兴趋势相一致的大型语言模型培训技术和推理部署技术的演变。在培训方面，讨论了数据预处理、培训架构、预训练任务、并行培训以及与模型微调相关的内容。在推理方面，本文涵盖了模型压缩、并行计算、内存调度和结构优化等主题。它还探讨了LLM的利用并提供了对其未来发展的见解。

Jan, 2024

综述了过去一年多模态大型语言模型（MM-LLMs）的进展，提供了对MM-LLMs的全面调查，包括模型架构和训练流程的设计概述，介绍了26种不同形式的MM-LLMs，并回顾了其在主流基准上的性能以及提升其效力的关键训练方法，同时探索了MM-LLMs领域的前景方向。

Jan, 2024

调查了LLMs的压缩方法和系统级优化方法，提出实验评估结果和改进方向，为高效LLM部署提供了实用见解。

Feb, 2024

大型语言模型(LLM)推理的高效领域正迅速发展，我们的研究通过基于屋顶线模型的框架，系统分析LLM推理技术，鉴别LLM部署瓶颈，深入理解实际设备的实际方面，并综合整理权重优化、解码算法改进和硬件系统增强等关键领域的最新进展，提供了全面而细致的高效LLM推理挑战和解决方案探索。

Feb, 2024

对于大型语言模型（LLMs）的研究，包括基本原理、应用领域以及训练过程，本综述论文对于上下文学习、多种微调方法以及参数使用效率优化等机制进行探讨，同时深入研究了如何通过创新的强化学习框架和融入人类反馈的新方法来更好地与人类偏好相统一的问题。还研究了将外部知识融入LLMs的新兴技术——检索增强生成。对于LLMs的伦理问题，论文讨论了需谨慎且负责任的应用需求。最后，论文展望了未来的研究方向，提供了关于当今及未来LLMs领域中不断发展的全面且简明的概述，为人工智能领域的研究人员和实践者提供了有益的指南。

Apr, 2024

大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题，本文对提高大规模语言模型推理效率的现有技术文献进行了综述，介绍了数据层、模型层和系统层优化的方法，并通过实验进行了定量分析，最后总结了相关知识，并探讨了未来研究方向。

Apr, 2024