May, 2023

使用合成和精选语料库进行字节级语法错误校正

PDF
TL;DR本文讨论了使用不同子词单元和字节级编码方法对语法错误校正任务进行序列到序列学习的影响。使用含错误生成管道的合成数据和手动更正的真实数据对不同模型进行训练和微调，证明了字节级编码方法不仅可以更好地纠正简单的拼写错误，还可以在语义、风格和语法等方面更好地进行纠错，尤其适用于富有形态学特征的语言。
发现论文，激发创造
  • 语法错误纠正：现有技术综述

    在此综述文章中，我们介绍了在自然语言处理领域中的语法错误纠正任务，其中包括越来越流行的神经机器翻译系统，同时概述了任务中的语言学挑战以及常用的数据集和评价方法。我们还介绍了人类主观判断相关的可靠度指标，并总结了近年来的发展以及未来工作和仍面临的挑战，希望本综述能为新手或关注近期发展的研究人员提供全面的资源。

    Nov, 2022

  • 一个基于 BERT 的无监督语法错误纠正框架

    本文提出了一种基于 BERT 的无监督语法错误校正框架，该框架将语法错误校正视为多类别分类任务，涵盖数据流构建模块、句子困境评分模块和误差检测和校正模块，并提出了一种新的伪困境评分方法来评估句子的可信度，并构建了 Tagalog 语料库进行研究，其表现竞争性较强，证明了该框架对于低资源语法错误校正任务很有用处。

    Mar, 2023

  • 语法错误纠正的语料生成

    本研究使用了序列到序列的框架对语法纠错进行建模。通过两种方法生成了大量的 Wikipedia 平行数据集，并使用迭代解码策略训练了神经语法纠错模型，最终在 CoNLL-2014 基准和 JFLEG 任务中实现了领先于现有技术的表现。

    Apr, 2019

  • 评估优秀的语法错误修正

    对瑞典学生文本进行全面评估，发现在少样本环境下，GPT-3 明显优于之前瑞典语语法错误修正系统，同时发现当前评估方法存在不可取的偏见，建议采用人工编辑 GEC 系统的输出来分析达到本地人级别性能所需要的改变量，并提供一份包含人工编辑和语法性、流畅性和意义保持评估的数据集。

    Aug, 2023

  • 语法错误修正的综合性调查

    GEC has seen significant progress thanks to machine learning and deep learning techniques, particularly in NMT based approaches, and this is the first survey to comprehensively cover literature in this area, examining datasets, annotation schemas, shared tasks, evaluation metrics, four basic approaches, six performance boosting techniques, two data augmentation methods, and future research directions.

    May, 2020

  • 使用迭代解码的弱监督语法错误校正

    利用大量弱监督的双语数据，训练 Transformer 序列到序列模型，并采用迭代解码策略来进行语法错误纠正，最终在 CoNLL'14 基准测试上获得 F0.5 为 58.3，在 JFLEG 上获得 GLEU 为 62.4，即使不使用任何有标记的 GEC 数据，在 CoNLL'14 上的 F0.5 也能达到 48.2。

    Oct, 2018

  • 多语言语法错误修正的简单配方

    本文提出了一种简单的方法来训练最先进的多语言语法纠错模型，使用大规模多语言语言模型来优化，建立并发布了基线数据集 cLang-8，通过单步微调得出了英语的精确度提高。

    Jun, 2021

  • 学习如何结合语法纠错

    本研究提出了自动检测系统强度或多个系统组合的方法，在所有测试配置中一致优于最佳独立系统，并对 BERT 的应用进行了分析，同时呈现了对本任务创建的拼写检查器的实验结果。

    Jun, 2019

  • 低资源场景下的语法错误修正

    本文介绍了一个 Czech 语法纠错的新数据集 AKCES-GEC。我们证明使用合成平行语料库结合 Transformer 神经机器翻译模型可在 Czech，German 和 Russian 等多种语言的数据集上达到新的最高水平。AKCES-GEC 数据集已发表在 CC BY-NC-SA 4.0 许可下，GEC 模型源代码也可访问。

    Oct, 2019

  • 利用 N-Best 假设改进 SMT 法进行语法纠错

    本文提出了一种利用 SMT 方法生成的 n 种翻译假设来提高 GEC 准确率的新方法，即利用分类器评分来选择适当的编辑或对 n 种翻译假设进行重新排序，并将这些方法应用于使用 SMT 方法的最新 GEC 系统中，实验结果表明，我们的方法在 GEC 基准测试数据集上的准确性比已发表的最佳结果有显着提高。

    Jun, 2016