本文介绍了使用神经网络全局词汇模型和神经网络联合模型来改善基于短语的统计机器翻译系统的局限性，通过对源句子的环境信息进行更有效地利用，显著提高了语法错误纠正的准确性。

Jun, 2016

本研究研究神经机器翻译系统中的数据噪声问题以及如何通过增加包含人工引入的语法错误句子的训练数据来提高其对错误的鲁棒性，同时提出了一套用于测试神经机器翻译在处理语法错误上的 JFLEG 语法纠错语料库的西班牙语翻译。

Aug, 2018

本研究使用 transformer 架构构建一个适用于具有古老特征的立陶宛语的语法错误纠正模型，并比较了子词和字节级方法，公开了 F$_{0.5}$=0.92 的最佳模型及其代码。

Mar, 2022

该研究提出了一种新方法以训练拼写纠错模型来纠正注意力机制序列到序列语音识别模型中的错误，从而改进了性能。在 LibriSpeech 数据集上，该模型相对于基线模型的相对改进为 18.6％，相对于使用扩展语言模型重新评分的 n-best 列表的改进为 29.0％。

Feb, 2019

该研究使用预训练序列到序列模型 BART，并对其进行自适应训练来对自动语音识别中的发音和拼写错误进行纠正，并采用词级对齐的简单方法重新评分。实验结果表明，该策略在口音语音数据上有效地矫正了大量 ASR 错误，并在与基准系统的比较中产生了改进的 WER 结果。然而，在印地语语法错误纠正任务中，该模型捕捉更广泛上下文的能力受到限制。

Feb, 2022

本文介绍了一种用于纠正语法错误的低资源序列到序列任务方法，首先使用现实的噪声函数生成大型未注释语料库的错误版本，然后利用这些并行语料库进行 Transformer 模型的预训练，并通过顺序迁移学习将这些模型适应于测试集的领域和风格。同时结合上下文感知的神经拼写检查器，我们的系统在 ACL 2019 BEA 共享任务中取得了竞争力的结果。我们公开代码与材料以便复现。

Jul, 2019

本文旨在研究预训练语言编码器（ELMo，BERT 和 RoBERTa）在面对自然语法错误时的表现，通过采集真实语法错误和进行对抗性攻击来模拟这些错误对干净文本数据的影响。结果证实，所有测试模型的性能都受到了影响，但影响程度有所不同。此外，我们设计了一个语言接受度任务来揭示它们在识别不符合语法的句子和错误位置方面的能力。本文的结果有助于理解语言编码器对语法错误的鲁棒性和行为。

May, 2020

本研究提出了使用 Transformer 模型检测大规模会话助手中的领域分类错误，采用 RoBERTa 模型的话语编码结合生产系统生成的 N 个最佳假设。在使用少量人工标注的语音的多任务设置下，我们的方法检测一个占大型会话 AI 系统流量的 < 0.5% 的域的误分类，达到了 30% 的 F1 分数，表现优于基线的双向长短时记忆模型 16.9% 以及独立 RoBERTa 模型 4.8%，并通过合并多个模型进一步提高了 2.2% 至 32.2%。

Sep, 2021

本文研究了 BART 和 XLM-R 两种目前最先进的基于 transformers 的任务导向语义解析模型在单语和多语境下的表现，实验证明它们不仅在消歧意图 / 槽方面有困难，而且在生成句法上有效的语义框架方面也遇到了问题，主要原因是在把句子片段抽取到框架中时存在歧义，导致语法无效。不过，该模型同时也为是否正确或不正确的语义框架给出了充足的指标，使得该模型可以轻松部署在生产环境中。

May, 2021

利用经过预训练的语言表示模型的中间和最终层提取句子中的语法错误特征，通过多头多层的注意力模型，使用 Bidirectional Encoder Representation from Transformers (BERT) ，在三个语法错误数据集上实现更好的 F_0.5 分数，比当前最先进的方法分别高出 6.0（FCE），8.2（CoNLL14）和 12.2（JFLEG）个百分点，并证明利用多头多层注意力，我们的模型可以利用句子中每个记号的更广泛信息。

Apr, 2019