ACLAug, 2023

通过模拟多个领域和语言中的自然拼写错误，实现生成式拼写纠正的方法论

PDF
TL;DR我们提出了一种对生成模型进行拼写纠错的方法，该方法通过研究文本中的自然拼写错误和打字错误，探索了模拟这些错误在正确句子中的方式，以有效丰富生成模型的预训练过程，并研究了这些模拟对模型能力的影响与文本域的关系。
发现论文，激发创造
  • 矫正真实世界的拼写错误：一种新的混合方法

    本文提出了一种新的混合方法，该方法结合了统计和句法知识来检测和纠正现实世界中的单词拼写错误，并使用 Constraint Grammar（CG）区分搜索空间中一组校正候选项。

    Feb, 2023

  • 具有误差一致预训练的通用和领域自适应中文拼写检查

    该研究使用错误一致掩蔽策略来为预训练创建数据，展示了 ECSpell 在一般基准上超越了先前的最先进模型，将可变的用户字典添加到处理零射领域适应问题的通用令牌分类基础拼写员中将进一步提高性能。

    Mar, 2022

  • 在线市场搜索中的领域特异性和数据效率对容错拼写检查器的影响

    通过数据增强和递归神经网络，我们提出了一种解决在线市场拼写错误的方法，以找到用户查询和可用产品名称之间的最佳匹配。这种数据高效的解决方案证明了受控高质量合成数据在当前依赖于庞大且常常无法控制的数据集的大型语言模型的背景下可能成为强大的工具。

    Aug, 2023

  • 低资源环境下基于语言模型的上下文拼写纠错

    通过训练小规模的基于词的 Transformer 语言模型，提取语料库中的概率性错误规则，结合语言模型和错误模型，通过嘈杂信道框架开发拼写校正模型，实验验证了该方法在尼泊尔语中的有效性。

    Apr, 2024

  • 上下文敏感的恶意拼写错误修正

    本文研究了恶意拼写纠正的方法，提出了一种利用词嵌入的上下文敏感方法来纠正针对特定关键词的恶意拼写，证明了相比于现有的拼写检查器，该方法具有更优的性能，在互联网骚扰内容检测和电子邮件垃圾邮件检测等两个应用领域有着广泛应用。

    Jan, 2019

  • 基于上下文的独立神经拼写校正

    本文提出了一种利用拼写信息和全局上下文信息共同解决自然语言处理中拼写纠错问题的简单、有效方法，即通过改进预训练语言模型的微调，将拼写纠错看作一个序列标注任务，并在此基础上显著提升之前最先进结果 12.8% 的 F0.5 评分。

    Nov, 2020

  • 利用机器翻译和句法模式进行人造错误生成

    本研究探讨了两种替代方法：机器翻译和文本模式提取以解决短缺的数据对自动化错误检测的影响。实验表明：人工生成的错误明显提高了对 FCE 和 CoNLL 2014 数据集的错误检测精度。

    Jul, 2017

  • 探索与利用：提高中文拼写纠正模型的两种方式

    本文介绍了一种利用序列到序列学习和神经网络的方法来进行汉语拼写纠错，通过不断发现模型的弱点生成更有价值的训练实例并进行任务特定的预训练，逐步将生成的对抗性示例添加到训练集中的对抗性训练方法，可以提高多个 CSC 模型的泛化能力和鲁棒性，达到了 CSC 任务的最先进表现。

    May, 2021

  • 一种用于端到端语音识别的拼写校正模型

    该研究提出了一种新方法以训练拼写纠错模型来纠正注意力机制序列到序列语音识别模型中的错误，从而改进了性能。在 LibriSpeech 数据集上，该模型相对于基线模型的相对改进为 18.6％，相对于使用扩展语言模型重新评分的 n-best 列表的改进为 29.0％。

    Feb, 2019

  • L2 俄语语法错误修正的语言模型

    本文提出一种基于语言模型的解决非母语俄语写作错误的管道，该模型在未标注的俄罗斯国家语料库报纸子语料库的文本上进行训练，并在 RULEC-GEC 语料库上验证模型性能。

    Jul, 2023