MMJul, 2018

自动语法错误纠正的人类水平性能达成：一项实证研究

PDF
TL;DR该论文提出了一种新颖的流利性提升学习和推理机制，结合卷积 seq2seq 模型，成功将神经序列到序列的方法应用于语法错误纠正 (GEC)，在 CoNLL-2014 10 注释数据集上获得了 75.72（F_{0.5}）的最好表现，在 JFLEG 测试集上获得了 62.42（GLEU)）的最好表现，并成为首个在这两项基准测试中都达到人类水平性能（分别为 CoNLL-2014 72.58 和 JFLEG 62.37）的 GEC 系统。
发现论文，激发创造
  • 将语法错误纠正作为类 GAN 的序列标注

    本研究提出了一种 GAN 类似的序列标注模型，采用 Gumbel-Softmax 采样和真实的错误分布来进行语法纠错，以解决传统模型训练与推理不匹配的问题，实验结果表明该方法有效，并改进了之前的最先进基准。

    May, 2021

  • 生成语法错误校正的人工错误负担

    通过人工制造包含错误的句子，使用序列到序列模型来实现逐步的语法错误纠正，并比较其效果与规则化的方法。

    Jul, 2019

  • 序列到动作：由动作引导的序列生成进行语法错误更正

    本文提出一种名为 Sequence-to-Action（S2A）的模型，可以联合输入源和目标句子，并在预测每个标记之前自动生成一个基于标记的动作序列，以提供更好的语法纠错性能。在英语和中文 GEC 任务的基准数据集上进行实验，证明我们的模型相对于基线模型具有更好的性能和生成结果的普适性和多样性。

    May, 2022

  • 通过解码干预提升 Seq2Seq 语法错误修正

    我们提出了一种统一的解码干预框架，利用外部评论家来评估逐步生成的令牌的适当性，并在动态影响下一个令牌的选择。通过在英语和中文数据集上进行广泛实验，我们的框架始终优于强基准线，并达到与最先进方法相媲美的结果。

    Oct, 2023

  • 混合机器翻译在语法错误修正中接近人类水平的表现

    本文将基于统计机器翻译和神经机器翻译的自动语法纠错方法相结合，形成一种新的系统，这个混合系统在 CoNLL-2014 和 JFLEG 基准测试上取得了最新的最佳结果。我们的分析显示，所创建的系统比迄今为止报告的任何其他 GEC 系统更接近达到人类水平的性能。

    Apr, 2018

  • 使用迭代解码的弱监督语法错误校正

    利用大量弱监督的双语数据，训练 Transformer 序列到序列模型，并采用迭代解码策略来进行语法错误纠正，最终在 CoNLL'14 基准测试上获得 F0.5 为 58.3，在 JFLEG 上获得 GLEU 为 62.4，即使不使用任何有标记的 GEC 数据，在 CoNLL'14 上的 F0.5 也能达到 48.2。

    Oct, 2018

  • Alirector：对齐增强的中文语法错误修正器

    本文提出了一种用于解决过度更正问题的对齐增强纠错模型，适用于序列到序列模型和仅具有解码器的大型语言模型。该方法通过训练纠错模型生成源句子的初始纠错，并将其与源句子结合，经过对齐模型进行另一轮纠错，以确保对齐模型专注于潜在的过度更正。此外，为了增强模型识别微妙差别的能力，我们还探索了源句子和初始纠错的反向对齐。最后，我们将两个对齐模型的对齐知识传递给纠错模型，指导其避免过度更正。在三个中文语法错误纠正数据集上的实验结果表明，我们的方法在减轻过度更正和提高整体性能方面是有效的。

    Feb, 2024

  • 基于有限状态转换器的神经语法错误纠正

    介绍了一种基于语言模型和有限状态转换器的语法错误更正方法，与神经序列模型和基于短语的机器翻译相比具有更好的效果，同时无需大量的标注数据，并且在拥有标注数据的情况下，该方法也适用于基于短语的机器翻译。

    Mar, 2019

  • 学习如何结合语法纠错

    本研究提出了自动检测系统强度或多个系统组合的方法，在所有测试配置中一致优于最佳独立系统，并对 BERT 的应用进行了分析，同时呈现了对本任务创建的拼写检查器的实验结果。

    Jun, 2019

  • 通过多任务训练和优化训练计划实现高效的语法错误校正

    本研究通过使用辅助任务和优化训练顺序，针对神经语法错误校正的问题，提出了一种高效利用数据的方法，利用较小规模的基于 BART 模型（400M 参数）的结果优于基于 T5-XXL 模型（11B 参数）的最佳模型。

    Nov, 2023