编码器 - 解码器模型在语法错误纠正中可以受益于预训练的掩码语言模型

ACLMay, 2020

编码器 - 解码器模型在语法错误纠正中可以受益于预训练的掩码语言模型

Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction

Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, Kentaro Inui

TL;DR本文研究如何将预训练的蒙面语言模型（例如 BERT）有效地纳入编码 - 解码模型，以进行语法错误纠正，并提出一种新的方法，在给定语法错误纠正语料库中对蒙面语言模型进行微调，并利用微调后的蒙面语言模型的输出作为语法错误纠正模型的额外特征，实现了蒙面语言模型的最大化利用，在 BEA-2019 和 CoNLL-2014 基准测试中获得了最好的性能表现。

Abstract

This paper investigates how to effectively incorporate a pre-trained masked language model (MLM), such as BERT, into an encoder-decoder (EncDec) model for grammatical error correction (GEC). The answer to this question is not as straightforward as one might expect because the previous

masked language model encoder-decoder model grammatical error correction fine-tuning benchmark

发现论文，激发创造

使用预训练的编码器 - 解码器模型加强语法错误修正的基线

本研究探索了使用双向和自回归转换器 (BART) 作为通用预训练编码器 - 解码器模型的实用性，以解决语法错误纠正问题中需要长时间预训练的问题，并发现单语和多语言 BART 模型在语法错误纠正方面取得了很高的表现。

May, 2020

DrBERT: BERT 预训练中揭示掩码语言模型解码器的潜力

提出了多个增强的解码器设计，并引入了 DrBERT（经过解码器优化的 BERT）作为一种新方法进行模型训练，通过微调对原始 BERT 模型的解码器进行改进，有效提高了模型性能而不增加推理时间和资源使用。

Jan, 2024

使用迭代解码的弱监督语法错误校正

利用大量弱监督的双语数据，训练 Transformer 序列到序列模型，并采用迭代解码策略来进行语法错误纠正，最终在 CoNLL'14 基准测试上获得 F0.5 为 58.3，在 JFLEG 上获得 GLEU 为 62.4，即使不使用任何有标记的 GEC 数据，在 CoNLL'14 上的 F0.5 也能达到 48.2。

Oct, 2018

ELECTRA：将文本编码器视为判别器而非生成器的预训练

提出了一种更节省样本的预训练任务，叫做替换标记检测。该方法是通过一个小的生成网络从语料库中替换一些标记，然后通过训练一个判别模型，以预测输入标记是否被替换，而不是预测被替换的标记的原始身份来破坏输入，从而定义所有输入标记的任务，比普通的 Masked language modeling 更有效，并表现出比 BERT 更好的上下文表示学习效果。

Mar, 2020

快速、高效且自监督：将掩码语言模型转化为通用词汇和句子编码器

本论文提出了一种名为 Mirror-BERT 的极为简单、快速和有效的对比学习技术，它能在 20-30 秒内将预训练的 MLMs（如 BERT 和 RoBERTa）转变为有效的通用词汇和句子编码器，而无需任何附加的数据和监督，并取得了巨大的成功。

Apr, 2021

用于英语学习者文本语法错误修正的开源和商业语言模型

通过评估四个已建立的语法错误纠正基准数据集上的七个开源模型和三个商业模型，我们发现大规模语言模型（LLMs）在特定环境下超过监督式英语语法错误纠正模型，并且零次提示在某些情形下与少次提示具有相同竞争力。

Jan, 2024

预训练语言模型在中文语法错误修正的模型集成中的应用

探索基于预训练语言模型（PLMs）计算的困惑度（PPL）的模型集成策略，以增强语法错误校正（GEC）系统，但得出一个出乎意料的结果，即基于 PLMs 的集成无法提高性能，详情需要进行评估可扩展性和改进测试数据。

May, 2023

使用神经增强学习修正语法错误

该研究提出了一种使用神经编码器 - 解码器模型和强化学习来进行语法错误校正的方法，并探讨了相较于传统的最大似然估计方法的优越性。研究表明，该方法在人工和自动评估指标上的表现都优于最大似然估计，达到了流畅度优化的语法错误校正数据集上的最先进的水平。

Jul, 2017

通过通用语言模型实现的检测纠正结构用于语法错误校正

本研究介绍一种名为 DeCoGLM 的综合检测和纠错结构，通过使用 General Language Model (GLM) 为基础，提供了在单个模型中进行多任务学习的方法，并表明该结构在大型语言模型中的有效性，为语法纠错提供了一个有前途的方向。

May, 2024

掩码语言建模中的表征缺陷

本文提出了一种新的预训练方法 MAE-LM，通过在 Masked Autoencoder 中排除 [MASK] 符号的编码器，解决了 Masked Language Modeling 预训练方法中 [MASK] 符号造成的表达上的不足问题，通过在 GLUE 和 SQuAD 基准测试上的表现，证明了 MAE-LM 在不同预训练设置和模型大小下都优于 MLM 预训练模型。

Feb, 2023