COLINGFeb, 2024

评估基于语言能力的语法错误修正提示策略

PDF
TL;DR通过研究英语作为第二语言的学习者的表现和语言熟练度之间的相互作用，我们的方法专注于基于不同熟练程度的零样本和少样本提示和微调模型，以提高外语英语学习者的语法错误修正（GEC）效果。我们发现，过度修正主要发生在高级语言学习者（熟练程度 C）的写作中，而不是熟练程度 A（初学者水平）和熟练程度 B（中级水平）。经过微调的 LLMs，甚至少量提示与英语学习者的写作范例，实际上会导致召回率下降。为了证明我们的论断，我们对 GEC 结果及其根据语言熟练度的评估结果进行了全面检查。
发现论文，激发创造
  • 用于英语学习者文本语法错误修正的开源和商业语言模型

    通过评估四个已建立的语法错误纠正基准数据集上的七个开源模型和三个商业模型，我们发现大规模语言模型（LLMs）在特定环境下超过监督式英语语法错误纠正模型，并且零次提示在某些情形下与少次提示具有相同竞争力。

    Jan, 2024

  • 个性化语法错误修正：针对语言熟练度和母语的适应

    本研究是在少量带注释的句子基础上，通过将通用神经语法纠错系统适应于作者的熟练程度和母语中，在五种熟练程度和十二种不同语言的比较下，发现同时适应两种条件可以最大程度地提高其性能（3.6 F0.5）。

    Jun, 2020

  • 大型语言模型是语法错误修正的最先进评估器

    研究发现大型语言模型（LLMs）在语法错误纠正（GEC）评估中表现优异，特别强调了流畅度作为评估标准的重要性。

    Mar, 2024

  • 语言能力对语法错误修正的质量评估的重要性

    本研究探讨了受监管质量评估模型对语法错误修正的影响，并发现评估数据的熟练程度会影响评估模型的性能，以此确保更加稳健的评估模型。

    Jan, 2022

  • 评估优秀的语法错误修正

    对瑞典学生文本进行全面评估，发现在少样本环境下，GPT-3 明显优于之前瑞典语语法错误修正系统，同时发现当前评估方法存在不可取的偏见，建议采用人工编辑 GEC 系统的输出来分析达到本地人级别性能所需要的改变量，并提供一份包含人工编辑和语法性、流畅性和意义保持评估的数据集。

    Aug, 2023

  • 探究 GPT-3 在语法错误纠正中的有效性：基于提示方法的性能和可控性研究

    本文探讨了使用零样本和少量样本设置，以 GPT-3 为基础进行语法错误修正任务的提示式方法的性能和可控性，并发现给定适当的任务说明和示例时，GPT-3 能够实现控制性能，显着增强学习过程。

    May, 2023

  • 带提示插入的控制生成用于语法错误修正中的自然语言解释

    本研究介绍了一种通过 Prompt 插入方法实现了大型语言模型对语法错误纠正进行解释的技术，并创建了一个可解释的语法错误纠正数据集，通过在生成过程中显式地控制 Prompt 插入，实现了生成所有纠正原因的解释，提高了纠正原因生成的性能。

    Sep, 2023

  • 超越英语：评估用于阿拉伯文语法错误纠正的 LLMs

    对于阿拉伯语的语法错误纠正任务，研究发现使用各种提示方法和少量样本学习的指令微调大型语言模型具有显著的效果，但是无论规模大小，指令微调模型的性能仍然不及完全微调的模型，此差距指出了语言模型改进的空间。同时，借鉴低资源机器翻译方法，利用合成数据也能显著提升阿拉伯语语法错误纠正的性能， 在两个标准阿拉伯语数据集上创造了新的最佳结果，分别达到 73.29 和 73.26 的 F1 分数，相比于同行评审发表的基准模型。

    Dec, 2023

  • 基于非语法句法的上下文例句选择用于语法错误修正

    我们提出了一种基于不合语法句法的上下文示例选择策略来改进语法错误纠正任务，实证结果显示，相比于常用的词匹配或语义方法，我们的策略能够有效提升大型语言模型在语法错误纠正任务中的性能，这表明对于类似语法错误纠正这样的句法导向任务，更多地关注句法信息能够有效增强大型语言模型的表现。

    Mar, 2024

  • 大语言模型时代语法错误修正的支柱：针对现代方法的全面考察

    本文通过实验研究语法错误修正，深入研究单模型系统的细微差别，比较集成和排名方法的效率，并探讨了大型语言模型在作为单模型系统、集成部分和排名方法时在语法错误修正上的应用。我们在 CoNLL-2014-test 和 BEA-test 上分别取得了 F_0.5 分数为 72.8 和 81.4 的最新最佳性能，为 GEC 的进一步发展和我们研究的可重复性提供支持。同时我们公开了我们的代码、训练模型和系统的输出结果，以便进一步推动 GEC 的发展。

    Apr, 2024