该研究综述了针对大型语言模型（LLMs）的挑战以及提高系统效率的最新进展和研究方向，包括算法级加速技术、LLM 硬件与软件协同设计策略、LLMs 加速器编译方法以及利用 LLMs 辅助电路设计的方法。通过这些工作，旨在为 LLMs 在各种应用中实现更高效、可扩展的部署铺平道路。

Jun, 2024

利用大型语言模型（LLMs）为六代（6G）无线通信技术引入一种基于强化学习的新框架，该框架在都市环境中通过训练 RL 代理并结合卷积神经网络（CNNs）利用 LLMs 的优势以及减轻其限制，在优化区域覆盖范围的网络部署中表现出色。

May, 2024

人工智能中生成式大型语言模型的高效部署方法的综述

Dec, 2023

这篇文章着重探讨了大型语言模型对人类价值、劳动力市场的影响以及需不需要对它们进行监管等问题，同时，它们也能更好地人性化技术，并且可以克服当前技术所面临的瓶颈问题。因此，我们应该更广泛地了解和推广 LLMs 以及简化 LLMs 使用的工具和方法。

May, 2023

ChatGPT 的引入使得大型语言模型（LLM）被广泛应用于解决后续任务，而在此背景下，低成本的 LLM 培训和部署代表着未来的发展趋势。本文回顾了与这一新兴趋势相一致的大型语言模型培训技术和推理部署技术的演变。在培训方面，讨论了数据预处理、培训架构、预训练任务、并行培训以及与模型微调相关的内容。在推理方面，本文涵盖了模型压缩、并行计算、内存调度和结构优化等主题。它还探讨了 LLM 的利用并提供了对其未来发展的见解。

Jan, 2024

本篇综述论文全面分析了大型语言模型的架构及其分类、训练策略、训练数据集和性能评估，并讨论了未来的研究方向，最后总结了大型语言模型研究的重要发现和关键的架构和训练策略。

Jul, 2023

通过将大型语言模型（LLMs）组织成以社区为基础的结构，该论文介绍了一种变革性方法，旨在增强 LLMs 的集体智能和问题解决能力。本文研究了不同的组织模型 - 分层、扁平、动态和联邦，每种模型都具有协作人工智能系统的独特优势和挑战。在这些结构化社区中，LLMs 被设计为专门从事不同的认知任务，采用直接通信、投票系统和基于市场的方法等先进的交互机制，并动态调整其治理结构以满足不断变化的需求。这种社区的实施对于提高人工智能的问题解决能力具有重大潜力，因此有必要深入研究其伦理考虑、管理策略和可扩展性。本文旨在为未来研究奠定基础，主张在人工智能研究和应用中从孤立到协同的运行框架进行范式转变。

May, 2024

使用大型语言模型（LLMs）存在着昂贵的代价，导致其控制、拥有权和使用权集中在少数公司，研究分析了不同国家和组织在开发和使用这些模型方面的经济实力，以及全球个人是否能够获得和使用这一新兴技术。结果表明这些技术被惊人少数的实体垄断，对此进行了伦理学上的定性研究并探讨了未来迈向 LLM 使用公平的方向。

Apr, 2024

本文介绍了由肯塔基大学应用人工智能中心开发的一种用户友好的平台，旨在提高大型定制化语言模型（LLMs）的可用性。通过利用最近在多 LoRA 推理方面的进展，该系统有效地适应了各种用户和项目的定制适配器。该论文概述了系统的体系结构和主要特点，包括数据集筛选、模型训练、安全推理和基于文本的特征提取。

Feb, 2024

大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力，并有潜力对我们的社会产生重大影响。然而，这些能力所需的资源相当可观，强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果，从模型中心、数据中心和框架中心的角度，将文献进行了分类整理。我们还创建了一个 GitHub 存储库，在这个存储库中收集了本调研中涉及的论文，并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源，帮助他们系统地了解高效大型语言模型的研究进展，并激励他们为这个重要而激动人心的领域做出贡献。

Dec, 2023