ACLMay, 2020

GECToR -- 语法错误修正：标注，而非重写

PDF
TL;DR本文介绍了一种使用 Transformer 编码器的简单高效的 GEC 序列标记工具，该系统采用合成数据进行预训练，并在连续两个阶段上进行微调，第一阶段在有错误的语料库上，第二阶段在有错误和无错误的平行语料库上。使用自定义的 token-level 变换将输入 token 映射到目标纠正 。我们的最佳单模型 / 集合 GEC 标记器在 CoNLL-2014（测试）上的 $F_{0.5}$ 为 65.3 / 66.5，在 BEA-2019（测试）上为 $F_{0.5}$ 的 72.4 / 73.6。其推理速度比基于 Transformer 的 seq2seq GEC 系统快 10 倍。代码和训练模型公开可用。
发现论文，激发创造
  • 使用迭代解码的弱监督语法错误校正

    利用大量弱监督的双语数据，训练 Transformer 序列到序列模型，并采用迭代解码策略来进行语法错误纠正，最终在 CoNLL'14 基准测试上获得 F0.5 为 58.3，在 JFLEG 上获得 GLEU 为 62.4，即使不使用任何有标记的 GEC 数据，在 CoNLL'14 上的 F0.5 也能达到 48.2。

    Oct, 2018

  • 对大型序列标注器进行集成和知识蒸馏，用于语法纠错

    本文旨在改进 GEC 序列标记体系结构，特别是在大型配置中采用最新的基于 Transformer 的编码器进行集成。通过跨度级别编辑的多数投票方法来鼓励集成模型，我们的最佳集合在 BEA-2019（测试）上获得了 76.05 的 $F_{0.5}$ 分数，即使没有在合成数据集上进行预训练也是如此。此外，我们采用知识蒸馏技术，通过训练集合来生成新的合成数据集，并在公开的合成 PIE 数据集上完成预训练，最终获得 73.21 的 $F_{0.5}$ 分数，其代码、数据集和训练好的模型都可供公开获取。

    Mar, 2022

  • 基于有限状态转换器的神经语法错误纠正

    介绍了一种基于语言模型和有限状态转换器的语法错误更正方法，与神经序列模型和基于短语的机器翻译相比具有更好的效果，同时无需大量的标注数据，并且在拥有标注数据的情况下，该方法也适用于基于短语的机器翻译。

    Mar, 2019

  • 一个基于 BERT 的无监督语法错误纠正框架

    本文提出了一种基于 BERT 的无监督语法错误校正框架，该框架将语法错误校正视为多类别分类任务，涵盖数据流构建模块、句子困境评分模块和误差检测和校正模块，并提出了一种新的伪困境评分方法来评估句子的可信度，并构建了 Tagalog 语料库进行研究，其表现竞争性较强，证明了该框架对于低资源语法错误校正任务很有用处。

    Mar, 2023

  • SynGEC: 带定制的 GEC 导向解析器的句法增强语法错误修正

    该研究提出了一种名为 SynGEC 的句法增强语法纠错方法，它有效地将依赖句法信息纳入 GEC 模型的编码器部分，其中重点挑战是在处理不合语法的句子时，标准分析器是不可靠的。为了克服这一挑战，我们提出使用并行 GEC 训练数据作为枢轴构建定制的 GEC 定向解析器 (GOPar)，并采用图卷积网络来编码 GOPar 产生的源侧句法信息，将它们与转换器编码器的输出融合，在英汉 GEC 数据集上的实验表明，我们提出的 SynGEC 方法一致且大幅优于强大的基准，并取得了有竞争力的性能

    Oct, 2022

  • 使用标记的错误模型生成语法纠错的合成数据

    本研究使用自动注释工具 ERRANT 的错误类型标签指导合成数据生成，并比较了多种模型以研究如何基于错误类型标签从正确的句子生成不合语法的句子。在此基础上，构建一个规模较大的合成数据集，其错误标签的频率分布与给定开发集相匹配。该合成数据集具有较好的性能表现，可以显著提高 BEA-19 和 CoNLL14 测试集的性能，并且可以有效地适应 GEC 系统，特别是对于混合本地和非本地语言的英语人群，其效果优于由高质量句对组成的真实训练数据。

    May, 2021

  • 将语法错误纠正作为类 GAN 的序列标注

    本研究提出了一种 GAN 类似的序列标注模型，采用 Gumbel-Softmax 采样和真实的错误分布来进行语法纠错，以解决传统模型训练与推理不匹配的问题，实验结果表明该方法有效，并改进了之前的最先进基准。

    May, 2021

  • 语法错误纠正的语料生成

    本研究使用了序列到序列的框架对语法纠错进行建模。通过两种方法生成了大量的 Wikipedia 平行数据集，并使用迭代解码策略训练了神经语法纠错模型，最终在 CoNLL-2014 基准和 JFLEG 任务中实现了领先于现有技术的表现。

    Apr, 2019

  • 通过多任务训练和优化训练计划实现高效的语法错误校正

    本研究通过使用辅助任务和优化训练顺序，针对神经语法错误校正的问题，提出了一种高效利用数据的方法，利用较小规模的基于 BART 模型（400M 参数）的结果优于基于 T5-XXL 模型（11B 参数）的最佳模型。

    Nov, 2023

  • 语法错误校正的扩展序列标记词汇表

    本研究提出了一种基于序列标注方法的文法纠错方法，使用 SymSpell 和 LemmInflect 算法分别引入了拼写纠正和形态变化的特定标签，实现了小量标签纠正大量错误的目的，并在公共 BEA 基准测试中表现出了显著的性能提升。

    Feb, 2023