ChatGPT 是如何运作并具备超过预期能力的？本文通过与 ChatGPT-4 对话的方式，对 ChatGPT 作出解释，包括与语言自身相关的良性偏见、语言的间接语义基础以及神经网络中的类别学习等。

Feb, 2024

通过 12 个预注册的实验，我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理，但是他们在一些方面与人类处理方式存在差异，并且可能通过 Transformer 架构来解释这些差异。

Mar, 2023

研究 LLMs 和 GPTs 在处理常识问题中的表现，实验结果表明：(1) GPTs 在通识任务中可以取得较好的 QA 准确率，但仍然较难处理某些类型的知识。(2) ChatGPT 具有常识知识，可以利用知识提示正确生成大部分常识知识。(3) ChatGPT 是一名经验不丰富的常识问题解决者，不能准确地识别回答一个特定问题所需的常识知识，这需要更好的常识引导机制，如遵循指示、更好的常识引导等。

Mar, 2023

该论文研究了 ChatGPT 和类似模型在空间推理和导航相关任务中的固有限制，并引入了一种新颖的评估框架和基准数据集以评估 ChatGPT 的空间推理能力。研究揭示了模型在空间理解方面的能力和局限性的关键见解。

Dec, 2023

通过实验和比较 ChatGPT 与普通人和语言学家在语言构造的判断上的一致性，在判断任务和语言处理方式上的差异性分析，我们的研究结果显示 ChatGPT 是人工智能模型中与语法直觉最接近的模型之一。

Jun, 2024

我们提出了一个基于逻辑推理的框架，用于将宣称或传言与证据分解为验证所需的原子推理步骤，并通过维基百科的合成数据集和在 Twitter 上流传的谣言的真实数据集对 GPT-3.5-Turbo 和 GPT-4（以下简称 ChatGPT）的推理能力进行评估，结果显示 ChatGPT 在因果推理方面存在困难，但通过使用手动 Chain of Thought（CoT）而不是 Zero Shot（ZS）和 ZS CoT 方法可以在一定程度上缓解这一问题。我们的研究为 ChatGPT 的推理过程不太可能与人类类似的推理过程相一致，并且指出 LLMs 需要在高风险的实际任务（如宣称验证）中进行更严格的评估，以区分炒作和实际能力。

Feb, 2024

本文提出了一个评估 ChatGPT 等交互式 LLM 的框架，使用公开数据集进行多任务、多语言和多模态方面的评估，发现 ChatGPT 能够生成多模态内容，但是其推理能力较差，存在幻觉问题，但通过 “提示工程” 可以与人类协作，提高性能。

Feb, 2023

本文通过对 20 个流行的任务数据集进行评估，就 ChatGPT 的零 - shot 学习能力进行了实证分析，并发现它在推理能力较强的任务上表现良好，如算术推理，但在特定任务（如序列标记）的解决方面仍面临挑战。

Feb, 2023

通过添加模块的方式提高 ChatGPT 在各种自然语言处理任务中的表现，解决了 token，生成能力以及 LLMs 模型特有问题等方面的挑战并在 21 个数据集的 10 个代表性任务中获得了与监督学习基线相当甚至更好的表现.

Jun, 2023

研究大型语言模型（LLMs）的能力和潜力，其中涵盖语言学、认知科学、数学和历史等领域，提出将 LLMs 暴露于语言训练数据中的能力可重新定义为暴露于语言编码的故事信息，并探讨其误差原因。

Jun, 2023