本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

Mar, 2023

本篇综述论文全面分析了大型语言模型的架构及其分类、训练策略、训练数据集和性能评估，并讨论了未来的研究方向，最后总结了大型语言模型研究的重要发现和关键的架构和训练策略。

Jul, 2023

人工智能，自然语言处理，大型语言模型和科学模型在语言方面的应用和发展的研究。

Oct, 2023

该研究综述了大型语言模型的评估方法，并提出了知识与能力评估、对齐评估和安全评估三个主要方面的评估方法，以及涵盖能力、对齐、安全和适用性的综合评估平台的构建。希望该综述能够推动对大型语言模型评估的更多研究兴趣，以促进负责任发展和最大化社会利益，同时最小化潜在风险。

Oct, 2023

大型语言模型（LLMs）的资源效率调查，系统地介绍了提高LLMs资源效率的各种技术，包括优化策略、评估指标和可持续发展。

Jan, 2024

对于大型语言模型（LLMs）的研究，包括基本原理、应用领域以及训练过程，本综述论文对于上下文学习、多种微调方法以及参数使用效率优化等机制进行探讨，同时深入研究了如何通过创新的强化学习框架和融入人类反馈的新方法来更好地与人类偏好相统一的问题。还研究了将外部知识融入LLMs的新兴技术——检索增强生成。对于LLMs的伦理问题，论文讨论了需谨慎且负责任的应用需求。最后，论文展望了未来的研究方向，提供了关于当今及未来LLMs领域中不断发展的全面且简明的概述，为人工智能领域的研究人员和实践者提供了有益的指南。

Apr, 2024

通过回顾现有工作，我们按类别介绍了应用语言模型于网络领域的突出成果，并详细解释它们在工作流程的不同阶段的操作方式。此外，我们深入探讨了遇到的挑战，讨论了潜在解决方案，并勾勒了未来的研究前景。我们希望这份调查能为研究人员和实践者提供洞见，推动该跨学科研究领域的发展。

Apr, 2024

语言模型是一种广义的术语，它包含了各种类型的模型，旨在理解和生成人类的交流。大型语言模型（LLM）因其具有与人类类似的流畅和连贯性处理文本的能力而引起了人们的广泛关注，这使它们在以管道方式构建的各种数据相关任务中具有价值。LLM在自然语言理解和生成方面的能力，结合其可伸缩性、多样性和领先性能，使其在诸如解释性人工智能（XAI）、自动化机器学习（AutoML）和知识图谱（KG）等各个人工智能领域具有创新应用的能力。此外，我们还相信这些模型能够从大规模数据中提取有价值的见解，并进行数据驱动的决策，这种做法通常被称为大数据分析（BDA）。在本立场论文中，我们对这些技术之间的协同作用提供一些讨论，该协同作用可以实现更强大和智能的人工智能解决方案，推动在整合人、计算机和知识的各种应用和领域中数据管道的改进。

Jun, 2024

大型语言模型与应用集成研究的分类体系和LLM组件的描述，以及它们在软件系统建设方面的潜力。

Jun, 2024

本研究聚焦于大型语言模型（LLM）基础设施的发展，探讨了构建有效模型所面临的挑战与策略。通过分析基础设施、软件和数据管理的核心组成部分，提出了成功开发LLM所需的关键考量和保障措施。研究揭示了有效LLM基础设施设计的关键洞见，对研究人员和实践者均具有重要价值。

Aug, 2024