Feb, 2024

Alirector：对齐增强的中文语法错误修正器

PDF
TL;DR本文提出了一种用于解决过度更正问题的对齐增强纠错模型，适用于序列到序列模型和仅具有解码器的大型语言模型。该方法通过训练纠错模型生成源句子的初始纠错，并将其与源句子结合，经过对齐模型进行另一轮纠错，以确保对齐模型专注于潜在的过度更正。此外，为了增强模型识别微妙差别的能力，我们还探索了源句子和初始纠错的反向对齐。最后，我们将两个对齐模型的对齐知识传递给纠错模型，指导其避免过度更正。在三个中文语法错误纠正数据集上的实验结果表明，我们的方法在减轻过度更正和提高整体性能方面是有效的。
chinese grammatical error correctionovercorrectionautoregressive generative modelssequence-to-sequence modelsdecoder-only large language models
发现论文，激发创造
  • 通过解码干预提升 Seq2Seq 语法错误修正

    我们提出了一种统一的解码干预框架，利用外部评论家来评估逐步生成的令牌的适当性，并在动态影响下一个令牌的选择。通过在英语和中文数据集上进行广泛实验，我们的框架始终优于强基准线，并达到与最先进方法相媲美的结果。

    Oct, 2023

  • 序列到动作：由动作引导的序列生成进行语法错误更正

    本文提出一种名为 Sequence-to-Action（S2A）的模型，可以联合输入源和目标句子，并在预测每个标记之前自动生成一个基于标记的动作序列，以提供更好的语法纠错性能。在英语和中文 GEC 任务的基准数据集上进行实验，证明我们的模型相对于基线模型具有更好的性能和生成结果的普适性和多样性。

    May, 2022

  • 从拼写到语法：汉语语法错误纠正的新框架

    该研究提出了一种用于汉语语法错误纠正任务的神经网络模型，包含拼写错误纠正和语法错误纠正两个步骤，并使用词性特征和语义类别特征进行增强以提高模型性能。最终模型在没有使用人工合成数据或数据增强方法的情况下在 CGEC 数据集上取得了 42.11 F0.5 得分，并且在捕捉不同词性词汇和传达合理词性转换规则方面表现突出。

    Nov, 2022

  • 面向中文语法错误修正的头对头非自回归序列预测

    该论文提出了一种名为 TtT 的新框架，使用 BERT-initialized Transformer Encoder 作为骨干模型，采用条件随机场（CRF）层以进行非自回归序列预测，以处理中文语法纠错中的深度问题，包括非固定长度的纠错数据集的实验研究。实验表明，TtT 提高了错误检测和修正任务的句子级别精度、准确率、召回率和 F1-Measure。

    Jun, 2021

  • 将语法错误纠正作为类 GAN 的序列标注

    本研究提出了一种 GAN 类似的序列标注模型，采用 Gumbel-Softmax 采样和真实的错误分布来进行语法纠错，以解决传统模型训练与推理不匹配的问题，实验结果表明该方法有效，并改进了之前的最先进基准。

    May, 2021

  • 自动语法错误纠正的人类水平性能达成：一项实证研究

    该论文提出了一种新颖的流利性提升学习和推理机制，结合卷积 seq2seq 模型，成功将神经序列到序列的方法应用于语法错误纠正 (GEC)，在 CoNLL-2014 10 注释数据集上获得了 75.72（F_{0.5}）的最好表现，在 JFLEG 测试集上获得了 62.42（GLEU)）的最好表现，并成为首个在这两项基准测试中都达到人类水平性能（分别为 CoNLL-2014 72.58 和 JFLEG 62.37）的 GEC 系统。

    Jul, 2018

  • 一个基于误差引导的汉语拼写纠错模型

    本文提出了一种基于神经网络和 BERT 的错误指导拼音检查模型，支持高度并行化解码，通过引入新的损失函数融合错词集，提高了错词的辨别能力和纠错质量。研究证明，在基准测试上，该模型在纠错质量和计算速度方面均显著优于现有技术。

    Jan, 2023

  • 通过通用语言模型实现的检测纠正结构用于语法错误校正

    本研究介绍一种名为 DeCoGLM 的综合检测和纠错结构，通过使用 General Language Model (GLM) 为基础，提供了在单个模型中进行多任务学习的方法，并表明该结构在大型语言模型中的有效性，为语法纠错提供了一个有前途的方向。

    May, 2024

  • 重新思考大型语言模型在中文语法纠错中的角色

    利用大型语言模型作为解释器和评估器，可能提高汉语语法错误纠正任务的性能并减少主观性问题。该研究通过广泛实验和详细分析验证了这种思路和方法的有效性。

    Feb, 2024

  • GEC-DePenD: 非自回归文法错误修正与解码的解耦置换

    我们提出了一种新的非自回归方法来解决语法错误纠正的问题，该方法使用置换网络和基于逐步展开去噪自编码器的解码网络，通过一次前向传递找到最佳输入序列的排列，避免了自回归方法的构建，实验结果表明我们的网络比以前所知的非自回归方法有更好的效果，并达到了不使用特定语言合成数据方法的自回归方法的水平。

    Nov, 2023