Jan, 2024

用于英语学习者文本语法错误修正的开源和商业语言模型

PDF
TL;DR通过评估四个已建立的语法错误纠正基准数据集上的七个开源模型和三个商业模型，我们发现大规模语言模型（LLMs）在特定环境下超过监督式英语语法错误纠正模型，并且零次提示在某些情形下与少次提示具有相同竞争力。
generative ailanguage modelsgrammatical error correctionbenchmark datasetsperformance
发现论文，激发创造
  • 大型语言模型是语法错误修正的最先进评估器

    研究发现大型语言模型（LLMs）在语法错误纠正（GEC）评估中表现优异，特别强调了流畅度作为评估标准的重要性。

    Mar, 2024

  • 超越英语：评估用于阿拉伯文语法错误纠正的 LLMs

    对于阿拉伯语的语法错误纠正任务，研究发现使用各种提示方法和少量样本学习的指令微调大型语言模型具有显著的效果，但是无论规模大小，指令微调模型的性能仍然不及完全微调的模型，此差距指出了语言模型改进的空间。同时，借鉴低资源机器翻译方法，利用合成数据也能显著提升阿拉伯语语法错误纠正的性能， 在两个标准阿拉伯语数据集上创造了新的最佳结果，分别达到 73.29 和 73.26 的 F1 分数，相比于同行评审发表的基准模型。

    Dec, 2023

  • 评估大型语言模型在中文语法错误修正任务中的能力

    大规模语言模型在中文语法错误纠正任务中的表现及其问题的调查报告。研究发现大语言模型在自动评估指标方面表现不如之前的模型，并存在过度纠正的问题。此外，不同数据分布下大语言模型的表现也存在明显差异。这些发现表明需要进一步研究大语言模型在中文语法错误纠正任务上的应用。

    Jul, 2023

  • 重新思考大型语言模型在中文语法纠错中的角色

    利用大型语言模型作为解释器和评估器，可能提高汉语语法错误纠正任务的性能并减少主观性问题。该研究通过广泛实验和详细分析验证了这种思路和方法的有效性。

    Feb, 2024

  • ChatGPT 对阿拉伯语语法错误修正

    近期，将大型语言模型 fine-tuned 后用于人类指令的研究表明在各种英语自然语言处理任务上取得了显著的能力，但在语法错误纠正任务中，特别是在非英语语言中的应用仍有待深入探索。本文研究了 fine-tuned 后的语言模型在阿拉伯语语法错误纠正中的能力，该任务由于阿拉伯语的丰富形态而变得复杂。我们的研究结果表明，各种提示方法与（上下文中的）少样本学习相结合，具有明显的效果，GPT-4 在专家提示下的 F extsubscript {1} 分数可达到 65.49（比我们建立的基线高出约 5 个点），这凸显了语言模型在低资源环境中的潜力，为模型训练生成有用的合成数据提供了可行的方法。尽管取得了这些积极的结果，我们发现无论大小如何，fine-tuned 后的模型在性能上显著低于大小显著较小的完全 fine-tuned 模型，这种差异突显了语言模型改进的重要空间。受低资源机器翻译方法的启发，我们还开发了一种利用合成数据的方法，该方法在两个标准阿拉伯语基准测试上显著优于先前的模型。我们的工作在阿拉伯语语法错误纠正领域取得了新的最佳结果，分别达到了 2014 和 2015 年 QALB 数据集的 72.19% 和 73.26 的 F$_{1}$ 值。

    Aug, 2023

  • GrammarGPT: 使用监督微调探索开源 LLMs 用于中文母语者语法错误修正

    介绍了 GrammarGPT，一款开源的大型语言模型，通过使用混合数据集和引导方法，提高了中文语法纠错的性能，最终在 NLPCC2023 SharedTask1 中取得了第三名的成绩。

    Jul, 2023

  • 人非圣贤，驼群亦可学

    该研究通过利用语言模型的人工错误生成（AEG）来增强语法错误校正（GEC），发现通过对基于 Llama 2 的语言模型进行微调，可以生成与人类错误相似的合成错误，进一步训练 GEC Llama 模型，使其在已测试的多种语言（德语、乌克兰语和爱沙尼亚语）中的校正效果超过了先前的最先进错误校正模型，并且证明了通过微调较小的序列到序列模型和提示大型商业语言模型（GPT-3.5 和 GPT-4）而生成的错误也对错误生成模型产生有益影响。

    Mar, 2024

  • 评估优秀的语法错误修正

    对瑞典学生文本进行全面评估，发现在少样本环境下，GPT-3 明显优于之前瑞典语语法错误修正系统，同时发现当前评估方法存在不可取的偏见，建议采用人工编辑 GEC 系统的输出来分析达到本地人级别性能所需要的改变量，并提供一份包含人工编辑和语法性、流畅性和意义保持评估的数据集。

    Aug, 2023

  • 生成预训练大语言模型对孟加拉语语法错误的解释程度如何？

    使用生成式预训练模型评估孟加拉语语法错误纠正系统，并强调了提供错误解释和改进反馈质量的重要性。

    May, 2024

  • ChatLang-8: 基于 LLM 的语法错误修正合成数据生成框架

    我们探索和改进 LLM 的能力，以生成语法错误纠正（GEC）的数据，提出了一个自动化框架，并引入了一个名为 ChatLang-8 的新数据集，该数据集包含八种主题名词和 23 种语法类型，实验结果表明我们的框架和 ChatLang-8 对于提高 ChatGPT 的数据生成能力具有价值。

    Jun, 2024