ACLMar, 2022

过去的错误是未来的智慧：基于误差驱动的对比概率优化的中文拼写检查

PDF
TL;DR提出了一个错误驱动的对比概率优化（ECOPO）框架，通过优化预训练语言模型的知识表示，指导模型避免预测常见字符，提高中文拼写检查的性能。在 SIGHAN 数据集上的实验和分析表明，ECOPO 是简单但有效的。
chinese spell checkingpre-trained language modelserror-driven contrastive probability optimizationcommonly used characterssighan datasets
发现论文，激发创造
  • 探索与利用：提高中文拼写纠正模型的两种方式

    本文介绍了一种利用序列到序列学习和神经网络的方法来进行汉语拼写纠错，通过不断发现模型的弱点生成更有价值的训练实例并进行任务特定的预训练，逐步将生成的对抗性示例添加到训练集中的对抗性训练方法，可以提高多个 CSC 模型的泛化能力和鲁棒性，达到了 CSC 任务的最先进表现。

    May, 2021

  • 通过字符发音预测提升中文拼写检查：自适应性和粒度的影响

    本文提出了一种基于 SCOPE 的中文拼写纠错模型，该模型引入了中文发音预测辅助任务用于改进中文拼写检查，并在三个基准测试中实现了新的最高性能，证明了辅助任务的有效性和优越性。

    Oct, 2022

  • 从词典学习：异构知识引导的中文拼写修正微调

    本文提出了一种 LEAD 框架，该框架允许 CSC 模型从字典的语音、视觉和含义方面学习异构知识，并通过基于对比学习的训练方案来提高 CSC 模型的表示能力。实验证明该方法有效。

    Oct, 2022

  • 具有误差一致预训练的通用和领域自适应中文拼写检查

    该研究使用错误一致掩蔽策略来为预训练创建数据，展示了 ECSpell 在一般基准上超越了先前的最先进模型，将可变的用户字典添加到处理零射领域适应问题的通用令牌分类基础拼写员中将进一步提高性能。

    Mar, 2022

  • 汉语拼写校正作为语言模型的改写

    本研究探讨了中文拼写纠错，提出了一种新的训练方法 Rephrasing Language Modeling，通过重新构造整个句子而非逐字符标记的方式来纠正拼写错误，取得了在细调和零样本测试中的最新最佳表现，超越了之前的方法，并能在与其他任务联合训练时学习到可迁移的语言表示。

    Aug, 2023

  • SDCL: 自我蒸馏对比学习用于中文拼写校对

    该论文提出了一种基于自我蒸馏对比学习方法的 BERT 修改方式，以适应汉语拼写检查任务所需的语音和字形信息，实验证明该方法可以提高汉语拼写检查准确率。

    Oct, 2022

  • C-LLM: 逐字学习检测中文拼写错误

    我们提出了一种基于大型语言模型的中文拼写检查方法 C-LLM，该方法通过逐个字符检查错误，实现了字符级别的对齐，从而有效地缓解了与字符级别约束相关的问题。在两个中文拼写检查基准测试中的实验表明，C-LLM 相比现有方法平均提升了 10％，在一般场景下提升了 2.1％，在垂直领域场景中有显著的 12％改进，达到了最先进的性能。

    Jun, 2024

  • 读、听、看：利用多模态信息改善中文拼写检查

    本文提出一个基于多模态信息的汉语拼写检查系统 ReaLiSe 来检测和自动纠正用户输入的汉字中常见的误用问题，并在 SIGHAN 基准测试上表现出了明显的优势。

    May, 2021

  • 一种令人沮丧却容易使用的即插即用的用于中文拼写检查的检测和推理模块

    近年来，通过设计专门的预训练方法或引入辅助任务，中国拼写检查（CSC）得到了很大的改进，大多数方法通过端到端方式解决这个任务。本文提出将 CSC 的工作流程分解为检测、推理和搜索子任务，以更直接和高效地利用与中文语言相关的丰富外部知识。具体地，我们设计了一个即插即用的检测和推理模块，与现有的最先进的非自回归 CSC 模型兼容，进一步提升了它们的性能。我们发现，训练一个模型的检测和推理模块也有助于其他模型的表现。我们还研究了任务分解提供的主要可解释性。广泛的实验和详细的分析证明了所提出模块的有效性和竞争力。

    Oct, 2023

  • 对中文拼写检查模型的领域自适应能力的实证研究

    本文评估了几种典型的 CSC 模型在多个特定领域的适应能力，并测试了大型语言模型 ChatGPT 的性能。实验证明，CSC 模型在新的领域中性能明显下降。

    Jan, 2024