本文提出了一种用于解决过度更正问题的对齐增强纠错模型，适用于序列到序列模型和仅具有解码器的大型语言模型。该方法通过训练纠错模型生成源句子的初始纠错，并将其与源句子结合，经过对齐模型进行另一轮纠错，以确保对齐模型专注于潜在的过度更正。此外，为了增强模型识别微妙差别的能力，我们还探索了源句子和初始纠错的反向对齐。最后，我们将两个对齐模型的对齐知识传递给纠错模型，指导其避免过度更正。在三个中文语法错误纠正数据集上的实验结果表明，我们的方法在减轻过度更正和提高整体性能方面是有效的。

Feb, 2024

该论文提出了一种新颖的流利性提升学习和推理机制，结合卷积 seq2seq 模型，成功将神经序列到序列的方法应用于语法错误纠正 (GEC)，在 CoNLL-2014 10 注释数据集上获得了 75.72（F_{0.5}）的最好表现，在 JFLEG 测试集上获得了 62.42（GLEU)）的最好表现，并成为首个在这两项基准测试中都达到人类水平性能（分别为 CoNLL-2014 72.58 和 JFLEG 62.37）的 GEC 系统。

Jul, 2018

本文提出一种名为 Sequence-to-Action（S2A）的模型，可以联合输入源和目标句子，并在预测每个标记之前自动生成一个基于标记的动作序列，以提供更好的语法纠错性能。在英语和中文 GEC 任务的基准数据集上进行实验，证明我们的模型相对于基线模型具有更好的性能和生成结果的普适性和多样性。

May, 2022

本研究提出了一种 GAN 类似的序列标注模型，采用 Gumbel-Softmax 采样和真实的错误分布来进行语法纠错，以解决传统模型训练与推理不匹配的问题，实验结果表明该方法有效，并改进了之前的最先进基准。

May, 2021

利用大量弱监督的双语数据，训练 Transformer 序列到序列模型，并采用迭代解码策略来进行语法错误纠正，最终在 CoNLL'14 基准测试上获得 F0.5 为 58.3，在 JFLEG 上获得 GLEU 为 62.4，即使不使用任何有标记的 GEC 数据，在 CoNLL'14 上的 F0.5 也能达到 48.2。

Oct, 2018

本研究探索了使用双向和自回归转换器 (BART) 作为通用预训练编码器 - 解码器模型的实用性，以解决语法错误纠正问题中需要长时间预训练的问题，并发现单语和多语言 BART 模型在语法错误纠正方面取得了很高的表现。

May, 2020

本文研究了现有的 seq2seq 预训练模型中存在的问题，提出了一种基于编码器自监督学习的预训练策略 E2S2，并通过在多个自然语言理解和生成任务中的实验证明了其可行性及有效性。

May, 2022

该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

Dec, 2016

通过 attention-based encoder-decoder 模型，我们成功地开发了一个在检测科技文献写作中的语法错误的系统，并得到了最高成绩。

Apr, 2016

本文提出了一种新颖的面向语言无关的语法错误修正方法，将任务分为两个子任务：错误跨度检测（Erroneous Span Detection, ESD) 和错误跨度修正（Erroneous Span Correction, ESC），ESD 使用高效的序列标注模型识别具有语法错误的文本跨度，而 ESC 则使用序列到序列模型，接受标注错误跨度的句子作为输入，并仅输出这些跨度的纠正文本。实验结果表明，我们的方法在英文和汉语 GEC 基准测试中的表现与传统的 seq2seq 方法相当，但推断时间成本不到 50%。

Oct, 2020