本文评估了 ChatGPT 模型在性能、评估标准、稳健性和错误类型四个方面的能力，并提出了一种用于更准确反映 ChatGPT 性能的软匹配策略，同时发现了 ChatGPT 的最主要的错误类型是 “未注释的跨度”，从而引发了对标注数据质量的关注，并提示可以使用 ChatGPT 进行数据标注。

May, 2023

本文通过评估 ChatGPT 在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的 LLM 研究提供思路。作者发现 ChatGPT 能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。

May, 2023

本文探讨了 ChatGPT 在不同任务中的表现评估问题，特别是针对数据污染问题，以 stance detection 为例，同时讨论了如何在当前大型、连续训练语言模型的时代保证公平的模型评估。

Mar, 2023

本文通过对 ChatGPT 在需求分析任务上的表现进行实证评估，探讨生成式大语言模型在自然语言处理领域对需求工程的影响，结果显示 ChatGPT 在多语言多类型需求文档检索上表现出令人惊叹的能力。

Apr, 2023

本文研究了用 ChatGPT 进行事件抽取的可行性并探究了遇到的挑战，结果表明 ChatGPT 在长尾和复杂情况下只有任务特定模型 EEQA 的 51.04％的性能，ChatGPT 不够稳定，继续改进提示不会导致稳定的性能提高，而且 ChatGPT 对不同的提示风格非常敏感。

Mar, 2023

对 ChatGPT 和 GPT-4 的语言能力、科学知识和伦理考虑进行全面评估的研究，包括现有评估方法的探讨和未来研究中对大型语言模型的评估建议。

Aug, 2023

本文提出了一个评估 ChatGPT 等交互式 LLM 的框架，使用公开数据集进行多任务、多语言和多模态方面的评估，发现 ChatGPT 能够生成多模态内容，但是其推理能力较差，存在幻觉问题，但通过 “提示工程” 可以与人类协作，提高性能。

Feb, 2023

ChatGPT 作为一个问答系统，通过对其在提供的段落中提取回答的能力进行评估，发现它在生成模型方面表现出了实力，但在问题回答方面相对于特定任务模型表现较差，而提供上下文可以提高其性能，提问方式对其准确性有所影响，并且在提供的上下文中提供了无法从中获取答案的问题的回答，还存在答案幻觉的现象。

Dec, 2023

本研究提出了一种新的框架，利用 ChatGPT 进行文本分类等特定任务，同时提高其解释性。该框架通过知识图谱抽取任务从原始数据中提取精细和结构化的知识，并将其转化为图形，进而用于训练可解释的线性分类器进行预测。实验结果表明，与直接使用 ChatGPT 相比，我们的方法可以显著提高性能，并提供比以前文本分类方法更透明的决策过程。

May, 2023

AI 的透明度和责任感的需求增加了，因为对 AI 决策背后的推理进行自然语言解释（NLE）对于澄清重要，但通过人的判断进行评估复杂且资源密集，由于主观性和对细粒度评分的需求。本研究探索了 ChatGPT 与人类评估之间的一致性，涵盖了二元、三元和 7-Likert 量表多个等级尺度。我们从三个 NLE 数据集中抽取了 300 个数据样本，并收集了 900 个人类注释，用于信息量和清晰度评分作为文本质量度量。我们还在不同主观性得分范围内进行了配对比较实验，其中基线来源于 8,346 个人类注释。我们的结果表明，在粗粒度尺度上，ChatGPT 与人类的一致性更好。配对比较和动态提示（即在提示中提供语义上相似的示例）提高了一致性。该研究推进了我们对大型语言模型的理解，以在不同配置中评估文本解释质量，为负责任的 AI 发展做出贡献。

Mar, 2024