本文旨在探究 ChatGPT 在语法错误修复领域的潜力，通过设计零样本连贯性（CoT）和少样本 CoT 方案来进行评估，并通过在不同语言以及英语文件级别 GEC 测试集中的表现和人工评估来展示该模型的优秀的错误检测能力和非常流利的纠错结果。此外，作者强调其在低资源和多语言 GEC 任务中的潜力，但是需要进一步分析各种类型的跨句子错误，并展示 ChatGPT 对于某些类型的错误仍然存在一定的局限性。

Apr, 2023

本文通过实验分析 GPT-3 文本模型在语法纠错任务（GEC）上的性能，比较了不同提示方式下的表现，使用自动度量和人为评估的结合揭示了人类评估者与基于参考的自动度量之间的有趣差异。

Mar, 2023

本研究探讨了 ChatGPT 在解决编程问题方面的有效性，考察了其解决问题的正确性和时间、内存复杂度等效率，研究结果表明 ChatGPT 在结构化问题方面表现出较好的成功率，但其调试任务表现不佳，为 ChatGPT 的能力和改进提供了精辟的了解。

Jul, 2023

本文研究了在多种语言环境下，使用 GPT-3.5 进行语法错误纠正（GEC）的应用，包括零样本 GEC，针对 GEC 的微调，以及使用 GPT-3.5 对其他 GEC 模型生成的纠正假设进行重新排序。

May, 2024

本文评估了 ChatGPT 模型在性能、评估标准、稳健性和错误类型四个方面的能力，并提出了一种用于更准确反映 ChatGPT 性能的软匹配策略，同时发现了 ChatGPT 的最主要的错误类型是 “未注释的跨度”，从而引发了对标注数据质量的关注，并提示可以使用 ChatGPT 进行数据标注。

May, 2023

本文探讨了 ChatGPT 在科学写作、数学、教育、编程和医疗保健等不同领域作为自动化助手的能力，重点介绍了其增强生产力、简化解决问题流程和提高写作风格的潜力以及与过度依赖 ChatGPT 可能带来的潜在风险，而作者提出了使用流程建议，对输出进行独立验证，并建议专家使用该工具。

Jun, 2023

本研究分析了 ChatGPT 在不同对话问答语料库中生成的回答，并使用 BERT 相似度得分进行比较，以获取自然语言推理（NLI）标签。该研究还确定了 ChatGPT 提供错误答案的情况，提供了有关该模型可能存在错误的领域的见解。通过评估分数，比较 GPT-3 和 GPT-4 的整体性能。

Apr, 2023

通过调查 135 名软件工程师对 Generative AI-based chatbots 像 ChatGPT 在软件工程任务中的使用，我们发现他们都想将 ChatGPT 用于软件库选择等任务，但也常常担心 ChatGPT 回复的真实性。我们开发了一套技术和一个名为 CID（ChatGPT 错误检测器）的工具，通过询问环境上类似但内容上有差异的问题（使用利用文本中变形关系的方法），对 ChatGPT 的回复进行自动测试和检测不正确的回复。CID 的基本原则是对于一个给定的问题，与其他回复（在多个问题的不同表达中）不同的回复很可能是不正确的回复。在一个关于软件库选择的基准研究中，我们展示 CID 可以以 0.74 至 0.75 的 F1 分数来检测 ChatGPT 中的不正确回复。

Mar, 2024

研究通过在三个常用的 NLG 元评估数据集上实验，评估 ChatGPT 作为 NLG 指标的可靠性，结果表明其与黄金人类判断的相关性达到了同类指标的最高水平或具有竞争性。

Mar, 2023

ChatGPT 作为一个问答系统，通过对其在提供的段落中提取回答的能力进行评估，发现它在生成模型方面表现出了实力，但在问题回答方面相对于特定任务模型表现较差，而提供上下文可以提高其性能，提问方式对其准确性有所影响，并且在提供的上下文中提供了无法从中获取答案的问题的回答，还存在答案幻觉的现象。

Dec, 2023