Feb, 2024

重新思考大型语言模型在中文语法纠错中的角色

PDF
TL;DR利用大型语言模型作为解释器和评估器，可能提高汉语语法错误纠正任务的性能并减少主观性问题。该研究通过广泛实验和详细分析验证了这种思路和方法的有效性。
large language modelschinese grammatical error correctionllms as explainersllms as evaluatorscollaboration of llms and small models
发现论文，激发创造
  • 评估大型语言模型在中文语法错误修正任务中的能力

    大规模语言模型在中文语法错误纠正任务中的表现及其问题的调查报告。研究发现大语言模型在自动评估指标方面表现不如之前的模型，并存在过度纠正的问题。此外，不同数据分布下大语言模型的表现也存在明显差异。这些发现表明需要进一步研究大语言模型在中文语法错误纠正任务上的应用。

    Jul, 2023

  • 大型语言模型是语法错误修正的最先进评估器

    研究发现大型语言模型（LLMs）在语法错误纠正（GEC）评估中表现优异，特别强调了流畅度作为评估标准的重要性。

    Mar, 2024

  • 用于英语学习者文本语法错误修正的开源和商业语言模型

    通过评估四个已建立的语法错误纠正基准数据集上的七个开源模型和三个商业模型，我们发现大规模语言模型（LLMs）在特定环境下超过监督式英语语法错误纠正模型，并且零次提示在某些情形下与少次提示具有相同竞争力。

    Jan, 2024

  • 关于中国文本纠错的大型语言模型的 (非) 有效性

    对 ChatGPT 进行中文文本纠错的评估，发现 ChatGPT 在中文文本纠错中表现出令人惊讶的性能，但也存在一些不令人满意的问题。

    Jul, 2023

  • 基于语言规则的本地化中文语法纠错语料库生成

    本文提出了一种基于语言规则的方法来构建自动生成语法错误的大规模中文语法错误纠正训练语料库，并提出了一个挑战性的中文语法错误纠正基准，旨在解决当前缺乏高质量标注的训练语料库和测试集不是由中文母语人士制作的问题。实验结果表明，我们提出的训练数据构建方法有效地提高了中文语法错误纠正模型的性能，并且我们的基准是进一步发展中文语法错误纠正领域的绝佳资源。

    Oct, 2022

  • 从拼写到语法：汉语语法错误纠正的新框架

    该研究提出了一种用于汉语语法错误纠正任务的神经网络模型，包含拼写错误纠正和语法错误纠正两个步骤，并使用词性特征和语义类别特征进行增强以提高模型性能。最终模型在没有使用人工合成数据或数据增强方法的情况下在 CGEC 数据集上取得了 42.11 F0.5 得分，并且在捕捉不同词性词汇和传达合理词性转换规则方面表现突出。

    Nov, 2022

  • 超越英语：评估用于阿拉伯文语法错误纠正的 LLMs

    对于阿拉伯语的语法错误纠正任务，研究发现使用各种提示方法和少量样本学习的指令微调大型语言模型具有显著的效果，但是无论规模大小，指令微调模型的性能仍然不及完全微调的模型，此差距指出了语言模型改进的空间。同时，借鉴低资源机器翻译方法，利用合成数据也能显著提升阿拉伯语语法错误纠正的性能， 在两个标准阿拉伯语数据集上创造了新的最佳结果，分别达到 73.29 和 73.26 的 F1 分数，相比于同行评审发表的基准模型。

    Dec, 2023

  • 通过通用语言模型实现的检测纠正结构用于语法错误校正

    本研究介绍一种名为 DeCoGLM 的综合检测和纠错结构，通过使用 General Language Model (GLM) 为基础，提供了在单个模型中进行多任务学习的方法，并表明该结构在大型语言模型中的有效性，为语法纠错提供了一个有前途的方向。

    May, 2024

  • 大语言模型时代语法错误修正的支柱：针对现代方法的全面考察

    本文通过实验研究语法错误修正，深入研究单模型系统的细微差别，比较集成和排名方法的效率，并探讨了大型语言模型在作为单模型系统、集成部分和排名方法时在语法错误修正上的应用。我们在 CoNLL-2014-test 和 BEA-test 上分别取得了 F_0.5 分数为 72.8 和 81.4 的最新最佳性能，为 GEC 的进一步发展和我们研究的可重复性提供支持。同时我们公开了我们的代码、训练模型和系统的输出结果，以便进一步推动 GEC 的发展。

    Apr, 2024

  • 人非圣贤，驼群亦可学

    该研究通过利用语言模型的人工错误生成（AEG）来增强语法错误校正（GEC），发现通过对基于 Llama 2 的语言模型进行微调，可以生成与人类错误相似的合成错误，进一步训练 GEC Llama 模型，使其在已测试的多种语言（德语、乌克兰语和爱沙尼亚语）中的校正效果超过了先前的最先进错误校正模型，并且证明了通过微调较小的序列到序列模型和提示大型商业语言模型（GPT-3.5 和 GPT-4）而生成的错误也对错误生成模型产生有益影响。

    Mar, 2024