本研究使用 7 个信息提取任务评估了 ChatGPT 在理解用户意图和提供合理回答方面的总体能力，发现其在标准信息提取设置中的表现差，但在 OpenIE 设置中表现出色，并提供高质量和可信任的解释，但存在预测自信度过高导致校准性低的问题。

Apr, 2023

ChatGPT 作为一个问答系统，通过对其在提供的段落中提取回答的能力进行评估，发现它在生成模型方面表现出了实力，但在问题回答方面相对于特定任务模型表现较差，而提供上下文可以提高其性能，提问方式对其准确性有所影响，并且在提供的上下文中提供了无法从中获取答案的问题的回答，还存在答案幻觉的现象。

Dec, 2023

本文通过对 ChatGPT 在需求分析任务上的表现进行实证评估，探讨生成式大语言模型在自然语言处理领域对需求工程的影响，结果显示 ChatGPT 在多语言多类型需求文档检索上表现出令人惊叹的能力。

Apr, 2023

本文通过对 20 个流行的任务数据集进行评估，就 ChatGPT 的零 - shot 学习能力进行了实证分析，并发现它在推理能力较强的任务上表现良好，如算术推理，但在特定任务（如序列标记）的解决方面仍面临挑战。

Feb, 2023

本文通过评估 ChatGPT 在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的 LLM 研究提供思路。作者发现 ChatGPT 能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。

May, 2023

通过对两个命名实体识别数据集进行自动和人工评估的系统分析，发现 ChatGPT 在一些少见的实体替换（如药物或疾病）方面表现相对脆弱，不同类型的实体特定和上下文特定扰动导致相同实体的解释质量有显著差异且可通过上下文学习显著改善，并且对于大多数不正确的预测过于自信，可能给最终用户带来错误引导。

Apr, 2024

本文评估了 AI 语言模型 ChatGPT 在语法纠错任务上的表现，通过与 Grammarly 和 GECToR 等商业和先进模型比较，发现 ChatGPT 在自动评估指标上表现较弱，但经过人工评估，发现 ChatGPT 更倾向于修改某些短语或句子结构而仍保持语法正确性，这表明自动评估指标低估了 ChatGPT 工具的潜力。

Mar, 2023

本文探讨了零样本信息提取（Zero-shot information extraction）的挑战，通过大型语言模型和基于提示的方法构建具有强大信息提取能力的 ChatIE 框架，成功地实现了多轮问答式的信息提取任务，这为使用有限资源构建信息提取模型提供了研究思路和方法。

Feb, 2023

对 ChatGPT 和 GPT-4 的语言能力、科学知识和伦理考虑进行全面评估的研究，包括现有评估方法的探讨和未来研究中对大型语言模型的评估建议。

Aug, 2023

本文旨在探究 ChatGPT 在语法错误修复领域的潜力，通过设计零样本连贯性（CoT）和少样本 CoT 方案来进行评估，并通过在不同语言以及英语文件级别 GEC 测试集中的表现和人工评估来展示该模型的优秀的错误检测能力和非常流利的纠错结果。此外，作者强调其在低资源和多语言 GEC 任务中的潜力，但是需要进一步分析各种类型的跨句子错误，并展示 ChatGPT 对于某些类型的错误仍然存在一定的局限性。

Apr, 2023