ACLMay, 2021

探索与利用：提高中文拼写纠正模型的两种方式

PDF
TL;DR本文介绍了一种利用序列到序列学习和神经网络的方法来进行汉语拼写纠错，通过不断发现模型的弱点生成更有价值的训练实例并进行任务特定的预训练，逐步将生成的对抗性示例添加到训练集中的对抗性训练方法，可以提高多个 CSC 模型的泛化能力和鲁棒性，达到了 CSC 任务的最先进表现。
sequence-to-sequence learningneural networkschinese spelling correctionadversarial trainingpretraining strategy
发现论文，激发创造
  • 汉语拼写校正作为语言模型的改写

    本研究探讨了中文拼写纠错，提出了一种新的训练方法 Rephrasing Language Modeling，通过重新构造整个句子而非逐字符标记的方式来纠正拼写错误，取得了在细调和零样本测试中的最新最佳表现，超越了之前的方法，并能在与其他任务联合训练时学习到可迁移的语言表示。

    Aug, 2023

  • 对中文拼写检查模型的领域自适应能力的实证研究

    本文评估了几种典型的 CSC 模型在多个特定领域的适应能力，并测试了大型语言模型 ChatGPT 的性能。实验证明，CSC 模型在新的领域中性能明显下降。

    Jan, 2024

  • 中文拼写检查的全面评估和分析研究

    开发预训练模型和结合语音和图像信息使神经模型在中文拼写检查方面取得了高分，该研究通过构建不同目的的综合测试集，实现了这一典型模型范式并进行了实验，在结果的详细分析中发现了四个重要发现。

    Jul, 2023

  • 过去的错误是未来的智慧：基于误差驱动的对比概率优化的中文拼写检查

    提出了一个错误驱动的对比概率优化（ECOPO）框架，通过优化预训练语言模型的知识表示，指导模型避免预测常见字符，提高中文拼写检查的性能。在 SIGHAN 数据集上的实验和分析表明，ECOPO 是简单但有效的。

    Mar, 2022

  • 具有误差一致预训练的通用和领域自适应中文拼写检查

    该研究使用错误一致掩蔽策略来为预训练创建数据，展示了 ECSpell 在一般基准上超越了先前的最先进模型，将可变的用户字典添加到处理零射领域适应问题的通用令牌分类基础拼写员中将进一步提高性能。

    Mar, 2022

  • 通过字符发音预测提升中文拼写检查：自适应性和粒度的影响

    本文提出了一种基于 SCOPE 的中文拼写纠错模型，该模型引入了中文发音预测辅助任务用于改进中文拼写检查，并在三个基准测试中实现了新的最高性能，证明了辅助任务的有效性和优越性。

    Oct, 2022

  • SDCL: 自我蒸馏对比学习用于中文拼写校对

    该论文提出了一种基于自我蒸馏对比学习方法的 BERT 修改方式，以适应汉语拼写检查任务所需的语音和字形信息，实验证明该方法可以提高汉语拼写检查准确率。

    Oct, 2022

  • 从词典学习：异构知识引导的中文拼写修正微调

    本文提出了一种 LEAD 框架，该框架允许 CSC 模型从字典的语音、视觉和含义方面学习异构知识，并通过基于对比学习的训练方案来提高 CSC 模型的表示能力。实验证明该方法有效。

    Oct, 2022

  • 一种令人沮丧却容易使用的即插即用的用于中文拼写检查的检测和推理模块

    近年来，通过设计专门的预训练方法或引入辅助任务，中国拼写检查（CSC）得到了很大的改进，大多数方法通过端到端方式解决这个任务。本文提出将 CSC 的工作流程分解为检测、推理和搜索子任务，以更直接和高效地利用与中文语言相关的丰富外部知识。具体地，我们设计了一个即插即用的检测和推理模块，与现有的最先进的非自回归 CSC 模型兼容，进一步提升了它们的性能。我们发现，训练一个模型的检测和推理模块也有助于其他模型的表现。我们还研究了任务分解提供的主要可解释性。广泛的实验和详细的分析证明了所提出模块的有效性和竞争力。

    Oct, 2023

  • 重新思考用于中文拼写纠正的遮盖语言建模

    通过发现 BERT 对中文拼写纠正的影响，本文提出随机蒙掉输入序列 20％的非错误标记是一种简单有效的提高语言模型和错误模型的技术，它可以被应用于任何模型架构，并在 SIGHAN 等基准测试中取得了新的最优结果

    May, 2023