EMNLPNov, 2023

通过混合细粒度加权训练进行语法错误修正

PDF
TL;DR本研究提出了 MainGEC 方法，通过利用数据标注的准确性和潜在注释的多样性的内在差异设计了基于令牌级和句子级训练权重，并进行了混合粒度加权训练以改善 GEC 的训练效果。经验证实，MainGEC 在两个基准数据集上以 Seq2Seq 或 Seq2Edit 方式表现出一致且显著的性能提升，证明了混合粒度加权训练的有效性和优越性。进一步的消融实验验证了 MainGEC 中设计的两个粒度权重的有效性。
grammatical error correctionmaingectraining weightsdata annotationmixed-grained weighted training
发现论文，激发创造
  • 将语法错误纠正作为类 GAN 的序列标注

    本研究提出了一种 GAN 类似的序列标注模型，采用 Gumbel-Softmax 采样和真实的错误分布来进行语法纠错，以解决传统模型训练与推理不匹配的问题，实验结果表明该方法有效，并改进了之前的最先进基准。

    May, 2021

  • 学习如何结合语法纠错

    本研究提出了自动检测系统强度或多个系统组合的方法，在所有测试配置中一致优于最佳独立系统，并对 BERT 的应用进行了分析，同时呈现了对本任务创建的拼写检查器的实验结果。

    Jun, 2019

  • 语法错误修正的综合性调查

    GEC has seen significant progress thanks to machine learning and deep learning techniques, particularly in NMT based approaches, and this is the first survey to comprehensively cover literature in this area, examining datasets, annotation schemas, shared tasks, evaluation metrics, four basic approaches, six performance boosting techniques, two data augmentation methods, and future research directions.

    May, 2020

  • 使用迭代解码的弱监督语法错误校正

    利用大量弱监督的双语数据，训练 Transformer 序列到序列模型，并采用迭代解码策略来进行语法错误纠正，最终在 CoNLL'14 基准测试上获得 F0.5 为 58.3，在 JFLEG 上获得 GLEU 为 62.4，即使不使用任何有标记的 GEC 数据，在 CoNLL'14 上的 F0.5 也能达到 48.2。

    Oct, 2018

  • 一个基于 BERT 的无监督语法错误纠正框架

    本文提出了一种基于 BERT 的无监督语法错误校正框架，该框架将语法错误校正视为多类别分类任务，涵盖数据流构建模块、句子困境评分模块和误差检测和校正模块，并提出了一种新的伪困境评分方法来评估句子的可信度，并构建了 Tagalog 语料库进行研究，其表现竞争性较强，证明了该框架对于低资源语法错误校正任务很有用处。

    Mar, 2023

  • 语法错误修正的数据加权训练策略

    本文通过使用新方法生成大量嘈杂的预训练数据以及发布质量更高的有限调整数据，解决了语法错误纠正领域的数据稀缺问题；同时，通过在小型、高质量数据集上导出大型预训练数据的示例级分数，针对 delta-log-perplexity 进行实证研究，以最佳方式将其纳入 GEC 的训练计划中，从而实现对 GEC 测试集的最佳结果。

    Aug, 2020

  • 基于类型的多次交互纠正方法用于语法错误校正

    本文提出了一种面向语法错误更正 (GEC) 的基于类型驱动和多次纠正的方法，通过使用这种方法构建的额外训练实例明确地帮助了模型逐步学习纠正的过程，实现了对不同类型纠正的协同处理，并通过实验结果在英语 GEC 基准测试中实现了最佳的单模型性能。

    Mar, 2022

  • 语法错误纠正：现有技术综述

    在此综述文章中，我们介绍了在自然语言处理领域中的语法错误纠正任务，其中包括越来越流行的神经机器翻译系统，同时概述了任务中的语言学挑战以及常用的数据集和评价方法。我们还介绍了人类主观判断相关的可靠度指标，并总结了近年来的发展以及未来工作和仍面临的挑战，希望本综述能为新手或关注近期发展的研究人员提供全面的资源。

    Nov, 2022

  • 利用去噪抽象意义表示进行语法错误纠正

    本文提出了一种基于 AMR 的 seq-to-seq 模型，并探索了降噪方法，以使 AMRs 更可靠，实验证明该模型可以用于语法纠错。

    Jul, 2023

  • 语法错误纠正的语料生成

    本研究使用了序列到序列的框架对语法纠错进行建模。通过两种方法生成了大量的 Wikipedia 平行数据集，并使用迭代解码策略训练了神经语法纠错模型，最终在 CoNLL-2014 基准和 JFLEG 任务中实现了领先于现有技术的表现。

    Apr, 2019