Oct, 2023

超越难样本：循环自增强的鲁棒有效的语法错误修正

PDF
TL;DR本文研究了语法纠错方法在序列到序列范式中容易受到对抗攻击的问题，并提出了一种简单而非常有效的 Cycle Self-Augmenting (CSA) 方法来增强模型的鲁棒性，该方法通过在后期训练过程中利用语法纠错模型自身的数据以及引入循环训练的正则化数据，可以在只增加少量额外训练轮次的情况下有效提高模型的鲁棒性。实验结果表明，该方法可以明显增强四种类型攻击的鲁棒性，并且在干净数据上的评估结果进一步证明了该方法对于改进性能的有效性。
grammatical error correctionadversarial attackrobustness evaluationcycle self-augmenting methodgec models
发现论文，激发创造
  • 利用未标注数据预训练具备复制增量结构的语法错误修正模型以提升性能

    本文提出了一种复制增强的神经机器翻译方法，使用未标注的 One Billion Benchmark 进行降噪自编码器的预训练，并针对语法错误纠正任务进行了多任务学习，实现了 CoNLL-2014 数据集上的最优结果。

    Mar, 2019

  • 通过上下文数据增强来改进语法错误修正

    提出一种基于上下文增强的合成数据构建方法，用于语法错误校正，在生成模型的基础上结合基于规则的替换，以增加原始数据的错误分布一致性，并提出一种基于重标记的数据清洗方法来减小合成数据中噪声标签的影响。实验证明，该增强方法在有限的合成数据下始终优于强基线方法，并达到了最先进水平。

    Jun, 2024

  • MixEdit: 重访数据增强与语法错误修正

    通过生成伪数据进行数据增强已被证明在语法错误修正（GEC）领域中缓解数据稀缺性的挑战中有效。本文引入了可解释且计算高效的两个度量：亲和性和多样性，研究发现高亲和性且适当多样性的优秀 GEC 数据增强策略可以更好地提高 GEC 模型的性能，并提出了一种名为 MixEdit 的数据增强方法，通过策略性和动态地增加真实数据而不需要额外的单语语料库。在英文和中文 GEC 数据集上的实验证实了我们发现的正确性和 MixEdit 的有效性，结果表明 MixEdit 显著提高 GEC 模型性能并且与传统数据增强方法互补。

    Oct, 2023

  • 基于类型的多次交互纠正方法用于语法错误校正

    本文提出了一种面向语法错误更正 (GEC) 的基于类型驱动和多次纠正的方法，通过使用这种方法构建的额外训练实例明确地帮助了模型逐步学习纠正的过程，实现了对不同类型纠正的协同处理，并通过实验结果在英语 GEC 基准测试中实现了最佳的单模型性能。

    Mar, 2022

  • 自动评估中的语法纠错系统中的性别偏见和通用替换对抗攻击

    该研究检查了一种简单的通用替换对抗攻击，该攻击可以被非英语母语者真实地使用来欺骗用于语言评估的 GEC 系统。

    Aug, 2022

  • 将语法错误纠正作为类 GAN 的序列标注

    本研究提出了一种 GAN 类似的序列标注模型，采用 Gumbel-Softmax 采样和真实的错误分布来进行语法纠错，以解决传统模型训练与推理不匹配的问题，实验结果表明该方法有效，并改进了之前的最先进基准。

    May, 2021

  • 语法错误修正中的自我完善策略

    本文提出了自我精炼的方法，利用现有模型的预测一致性去除 Grammatical Error Correction（GEC）数据集中的噪声，实现了优于传统基线的去噪效果，并在任务特定技术的帮助下，在 CoNLL-2014、JFLEG 和 BEA-2019 基准测试中实现了最先进的性能。

    Oct, 2020

  • 通过多任务训练和优化训练计划实现高效的语法错误校正

    本研究通过使用辅助任务和优化训练顺序，针对神经语法错误校正的问题，提出了一种高效利用数据的方法，利用较小规模的基于 BART 模型（400M 参数）的结果优于基于 T5-XXL 模型（11B 参数）的最佳模型。

    Nov, 2023

  • RobustGEC：针对细微上下文扰动的鲁棒语法错误修正

    介绍了 RobustGEC 基准系统，用于评估 GEC 系统的上下文鲁棒性；通过使用 RobustGEC，揭示了目前最先进的 GEC 系统在应对上下文扰动方面仍然缺乏足够的鲁棒性，并提出了一种简单而有效的方法来纠正这个问题。

    Oct, 2023

  • 使用标记的错误模型生成语法纠错的合成数据

    本研究使用自动注释工具 ERRANT 的错误类型标签指导合成数据生成，并比较了多种模型以研究如何基于错误类型标签从正确的句子生成不合语法的句子。在此基础上，构建一个规模较大的合成数据集，其错误标签的频率分布与给定开发集相匹配。该合成数据集具有较好的性能表现，可以显著提高 BEA-19 和 CoNLL14 测试集的性能，并且可以有效地适应 GEC 系统，特别是对于混合本地和非本地语言的英语人群，其效果优于由高质量句对组成的真实训练数据。

    May, 2021