2022 年底，ChatGPT 的发布在 AI 的研究和商业领域引发了巨大的风潮，通过使用监督微调和强化学习来对大型语言模型进行指令调优，它展示了模型能够回答人类提出的问题并按照广泛的任务进行指令遵循，使得大型语言模型的研究兴趣得到了极大的加强，各种新的大型语言模型层出不穷，包括很多专注于大型语言模型的初创公司。然而，尽管封闭源的大型语言模型（如 OpenAI 的 GPT 和 Anthropic 的 Claude）通常表现出色，但开源大型语言模型的进展也非常迅速，并声称在某些任务上实现了与 ChatGPT 持平甚至更好的结果，这对于研究和商业都具有重要的意义。在本研究中，我们在 ChatGPT 发布一周年之际，全面概述了这一成就，并调查了所有开源大型语言模型声称在各项任务中达到与 ChatGPT 持平或更好的情况。

Nov, 2023

介绍了一种基于 h2oGPT 平台的开源语言模型，旨在创建开源的比闭源 GPT 更好的大型语言模型，这将促进 AI 的发展并使其更加可靠和透明。

Jun, 2023

研究比较了开源的大型语言模型（LLMs），ChatGPT 和人工服务（如 MTurk）在文本标注任务中的表现。 发现开源 LLMs 在高效性，透明性，可再现性和数据保护方面具有竞争力，虽然 ChatGPT 在大多数任务中表现最好，但开源 LLMs 在特定任务中也有较高的竞争潜力。

Jul, 2023

本文探讨了 ChatGPT 在不同任务中的表现评估问题，特别是针对数据污染问题，以 stance detection 为例，同时讨论了如何在当前大型、连续训练语言模型的时代保证公平的模型评估。

Mar, 2023

研究大规模语言模型的发布与使用，利用调整技术进行优化以改善使用性，此文介绍 OpenAssistant Conversations 数据库的发布，使用该人类生成的、人类注释的数据集进行训练后得到了全新的软件 OpenAssistant。相对于 ChatGPT，OpenAssistant 的答复被用户更青睐，其发布的代码和数据完全遵循宽松许可证，可供研究者使用。

Apr, 2023

本文讨论 OpenAIs ChatGPT，一种用于文本型用户请求（即聊天机器人）的生成式预训练转换器。讨论了 ChatGPT 及类似模型背后的历史和原则，以及其对学术界和学术研究出版的潜在影响。ChatGPT 被认为是自动准备论文和其他类型学术手稿的潜在模型。此外，还讨论了可能出现的潜在伦理问题，并将其置于人工智能、机器学习和自然语言处理的更广泛进展的背景之下。

Mar, 2023

ChatGPT 是 OpenAI 创建的一种大型语言模型 (LLM)，通过大量数据的精心训练，推动了自然语言处理 (NLP) 的发展，并拓展了 LLM 的能力边界。本文主要目标是对 ChatGPT 及其演变的当前研究方向进行简明概述，提供了基于玻璃盒和黑盒观点的综合分析。此概述也揭示了 LLM 和 GAI 领域的现有和缺失研究方向，有益于公众用户和开发人员。

Jul, 2023

本文介绍了一种基于数据驱动和透明资源的开源金融领域大型语言模型（FinGPT），通过自动数据处理管道和低秩度量适应技术，为研究人员和从业者提供访问、透明的资源，并展示了机器人顾问、算法交易和低代码开发等潜在应用。

Jun, 2023

通过使用 GPT-4 对多个开源语言模型的反馈进行评估，本研究探讨了大型语言模型在教育领域中生成反馈的质量，并发现一些模型在性能上可以与专有的语言模型竞争，从而为其在教学环境中的负责任使用提供机会。

May, 2024

ChatGPT 是一种基于 Transformer 架构的大型语言模型，能够在对话环境中生成类似人类的回答。它具有广泛的应用领域，但也引发了伦理和社会等方面的担忧。本文概述了 ChatGPT 的架构和训练过程，并提出了一些技术、监管、教育和伦理等方面的建议，以最大化其益处并尽量减少负面影响。

Feb, 2024