一个基于误差引导的汉语拼写纠错模型
该研究提出了一种用于汉语语法错误纠正任务的神经网络模型,包含拼写错误纠正和语法错误纠正两个步骤,并使用词性特征和语义类别特征进行增强以提高模型性能。最终模型在没有使用人工合成数据或数据增强方法的情况下在 CGEC 数据集上取得了 42.11 F0.5 得分,并且在捕捉不同词性词汇和传达合理词性转换规则方面表现突出。
Nov, 2022
本文提出了一种用于解决过度更正问题的对齐增强纠错模型,适用于序列到序列模型和仅具有解码器的大型语言模型。该方法通过训练纠错模型生成源句子的初始纠错,并将其与源句子结合,经过对齐模型进行另一轮纠错,以确保对齐模型专注于潜在的过度更正。此外,为了增强模型识别微妙差别的能力,我们还探索了源句子和初始纠错的反向对齐。最后,我们将两个对齐模型的对齐知识传递给纠错模型,指导其避免过度更正。在三个中文语法错误纠正数据集上的实验结果表明,我们的方法在减轻过度更正和提高整体性能方面是有效的。
Feb, 2024
本研究介绍一种名为 DeCoGLM 的综合检测和纠错结构,通过使用 General Language Model (GLM) 为基础,提供了在单个模型中进行多任务学习的方法,并表明该结构在大型语言模型中的有效性,为语法纠错提供了一个有前途的方向。
May, 2024
本文提出了一种新颖的面向语言无关的语法错误修正方法,将任务分为两个子任务:错误跨度检测(Erroneous Span Detection, ESD) 和错误跨度修正(Erroneous Span Correction, ESC),ESD 使用高效的序列标注模型识别具有语法错误的文本跨度,而 ESC 则使用序列到序列模型,接受标注错误跨度的句子作为输入,并仅输出这些跨度的纠正文本。实验结果表明,我们的方法在英文和汉语 GEC 基准测试中的表现与传统的 seq2seq 方法相当,但推断时间成本不到 50%。
Oct, 2020
利用大型语言模型作为解释器和评估器,可能提高汉语语法错误纠正任务的性能并减少主观性问题。该研究通过广泛实验和详细分析验证了这种思路和方法的有效性。
Feb, 2024
本 paper 提出了一种基于新颖的神经网络结构和所谓的软遮罩技术的基于 BERT 的拼写错误检测与纠正方法,可以显著提高其准确性,适用于其他语言纠错问题。
May, 2020
基于 BERT 的模型在中文拼写检查任务方面表现出了显著的能力,然而传统的基于 BERT 的方法仍存在两个局限性:第一,虽然之前的研究发现明确的先验知识如词性标注对于拼写检查任务有益,但他们忽略了拼写错误会导致错误标签从而误导模型的事实;此外,他们忽视了 BERT 中间层所编码的隐含分层信息与不同的语言现象之间的相关性,从而导致了次优的准确性。我们提出了一种异构知识注入框架来减轻上述两个问题。为了整合明确的词性知识,我们采用了由高斯混合模型驱动的辅助任务策略。同时,为了整合编码器中的隐含的分层语言知识,我们提出了一种新颖的基于 n-gram 的逐层自注意力形式来生成多层表示。实验结果表明,我们提出的框架在四个强基准模型上都有稳定的性能提升,并且在两个数据集上优于先前的最先进方法。
Dec, 2023
通过基于嵌套注意力层的混合神经模型,将神经机器翻译方法发展应用于语法纠错,实验证明该模型对单词或字符水平上的错误检测和修复均具有良好的效果,并在 CoNLL-14 基准测试数据集上明显优于以往的神经模型,尤其对小修改的局部错误有明显的改善。
Jul, 2017
通过发现 BERT 对中文拼写纠正的影响,本文提出随机蒙掉输入序列 20%的非错误标记是一种简单有效的提高语言模型和错误模型的技术,它可以被应用于任何模型架构,并在 SIGHAN 等基准测试中取得了新的最优结果
May, 2023
本研究探讨了中文拼写纠错,提出了一种新的训练方法 Rephrasing Language Modeling,通过重新构造整个句子而非逐字符标记的方式来纠正拼写错误,取得了在细调和零样本测试中的最新最佳表现,超越了之前的方法,并能在与其他任务联合训练时学习到可迁移的语言表示。
Aug, 2023