本文评估了 AI 语言模型 ChatGPT 在语法纠错任务上的表现，通过与 Grammarly 和 GECToR 等商业和先进模型比较，发现 ChatGPT 在自动评估指标上表现较弱，但经过人工评估，发现 ChatGPT 更倾向于修改某些短语或句子结构而仍保持语法正确性，这表明自动评估指标低估了 ChatGPT 工具的潜力。

Mar, 2023

本文研究了在多种语言环境下，使用 GPT-3.5 进行语法错误纠正（GEC）的应用，包括零样本 GEC，针对 GEC 的微调，以及使用 GPT-3.5 对其他 GEC 模型生成的纠正假设进行重新排序。

May, 2024

本文通过实验分析 GPT-3 文本模型在语法纠错任务（GEC）上的性能，比较了不同提示方式下的表现，使用自动度量和人为评估的结合揭示了人类评估者与基于参考的自动度量之间的有趣差异。

Mar, 2023

对 ChatGPT 进行中文文本纠错的评估，发现 ChatGPT 在中文文本纠错中表现出令人惊讶的性能，但也存在一些不令人满意的问题。

Jul, 2023

本文探讨了使用零样本和少量样本设置，以 GPT-3 为基础进行语法错误修正任务的提示式方法的性能和可控性，并发现给定适当的任务说明和示例时，GPT-3 能够实现控制性能，显着增强学习过程。

May, 2023

本文评估了 ChatGPT 模型在性能、评估标准、稳健性和错误类型四个方面的能力，并提出了一种用于更准确反映 ChatGPT 性能的软匹配策略，同时发现了 ChatGPT 的最主要的错误类型是 “未注释的跨度”，从而引发了对标注数据质量的关注，并提示可以使用 ChatGPT 进行数据标注。

May, 2023

近期，将大型语言模型 fine-tuned 后用于人类指令的研究表明在各种英语自然语言处理任务上取得了显著的能力，但在语法错误纠正任务中，特别是在非英语语言中的应用仍有待深入探索。本文研究了 fine-tuned 后的语言模型在阿拉伯语语法错误纠正中的能力，该任务由于阿拉伯语的丰富形态而变得复杂。我们的研究结果表明，各种提示方法与（上下文中的）少样本学习相结合，具有明显的效果，GPT-4 在专家提示下的 F extsubscript {1} 分数可达到 65.49（比我们建立的基线高出约 5 个点），这凸显了语言模型在低资源环境中的潜力，为模型训练生成有用的合成数据提供了可行的方法。尽管取得了这些积极的结果，我们发现无论大小如何，fine-tuned 后的模型在性能上显著低于大小显著较小的完全 fine-tuned 模型，这种差异突显了语言模型改进的重要空间。受低资源机器翻译方法的启发，我们还开发了一种利用合成数据的方法，该方法在两个标准阿拉伯语基准测试上显著优于先前的模型。我们的工作在阿拉伯语语法错误纠正领域取得了新的最佳结果，分别达到了 2014 和 2015 年 QALB 数据集的 72.19% 和 73.26 的 F$_{1}$ 值。

Aug, 2023

对瑞典学生文本进行全面评估，发现在少样本环境下，GPT-3 明显优于之前瑞典语语法错误修正系统，同时发现当前评估方法存在不可取的偏见，建议采用人工编辑 GEC 系统的输出来分析达到本地人级别性能所需要的改变量，并提供一份包含人工编辑和语法性、流畅性和意义保持评估的数据集。

Aug, 2023

研究 GPT-3.5 和 GPT-4 等大型语言模型在巴西葡萄牙语中作为语法错误纠正工具的有效性和性能，并将其与 Microsoft Word 和 Google Docs 进行比较。

Jun, 2023

本文通过对 20 个流行的任务数据集进行评估，就 ChatGPT 的零 - shot 学习能力进行了实证分析，并发现它在推理能力较强的任务上表现良好，如算术推理，但在特定任务（如序列标记）的解决方面仍面临挑战。

Feb, 2023