在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

May, 2020

本文对 GPT-3.5 和 GPT-4 进行全面技术评估，发现 GPT-4 在几乎所有测试任务中优于 GPT-3.5，并提出一组改良数据来提高两种模型的零样本学习能力。

May, 2023

本研究评估了 GPT-4 在常识推理问题上的表现，重点关注 CommonsenseQA 数据集中的问题，发现 GPT-4 的准确性达到 83％，虽然没有达到人类的水平，但是表现出了很好的潜力，可推动人工智能领域的发展。

Mar, 2023

该研究全面评估了 GPT-3.5 在 21 个数据集上进行文本转换后的表现，发现其在某些任务上表现优异，但仍存在重大的鲁棒性降级，而且 GPT-3.5 面临着一些特定的鲁棒性挑战，这些发现对于了解其限制以及指导未来的研究具有重要价值。

Mar, 2023

我们介绍 GPT-NeoX-20B，它是一个由 200 亿个参数构成的自回归语言模型，在 Pile 上训练，其权重将通过一个宽松的许可证向公众免费开放。在该工作中，我们描述了模型的架构和训练，并评估了其在一系列语言理解、数学和基于知识的任务上的表现。我们发现，在五次少量数据（few-shot）评估时，GPT-NeoX-20B 是一个特别强大的 few-shot 推理器，并且在性能上比同样大小的 GPT-3 和 FairSeq 模型有更大的提升。我们在该 https URL 上开源了训练和评估代码，以及模型权重。

Apr, 2022

本研究评估了 GPT-4 在逻辑推断任务中的性能，包括多项逻辑推断数据集的测试以及构建一个逻辑推理离散数据集进行实验。结论显示，尽管 GPT-4 表现优异，但逻辑推理对 ChatGPT 和 GPT-4 来说仍然是一项挑战。

Apr, 2023

利用可训练的连续提示嵌入 (P-tuning) 方法，在自然语言理解 (NLU) 任务上，GPT 在不需要额外文本的情况下，能够比同等大小的 BERT 表现更好或者相当，并且在 LAMA 基准测试中恢复了 64％的世界知识，同时在监督学习中，GPT 表现出类似大小的 BERT 相似或更好的性能。此外，该方法还显著减少了对提示工程的需求，并在少样本 SuperGlue 基准测试中优于现有最先进方法。

Mar, 2021

本文介绍了如何使用 GPT-3 对大量的用户评论进行零样本情感总结，探讨了一些通用方法并对不同方法的信念忠实度、准确性和通用性等多个角度进行评估。

Nov, 2022

本文介绍了 GPT-4，一种大规模、多模态模型，可接受图像输入和文本输入，并产生文本输出。通过预先训练，优化方法和改进后的对齐过程，GPT-4 表现出人类水平的性能。

Mar, 2023

本文探讨了大型语言模型（LLMs）在波斯语中的有效性。研究发现，虽然 ChatGPT 和其他 LLMs 在英语中表现出色，但它们在资源稀缺的语言上的效率仍然是一个悬而未决的问题。研究通过对各种波斯语任务进行全面的基准测试研究，重点评估了 GPT-3.5-turbo，同时还包括 GPT-4 和 OpenChat-3.5，以提供更全面的评估。研究结果显示，虽然 LLMs，特别是 GPT-4，在需要推理能力和对一般知识的广泛理解的任务中表现出色，但它们通常落后于针对特定任务进行细化调整的较小的预训练模型。此外，研究还观察到将测试集翻译成英语后输入 GPT-3.5 会改善其性能。这些结果突显了提升波斯语中 LLM 性能的重要潜力，这尤其值得注意，因为波斯语具有独特的字母和写作风格。

Apr, 2024