C-LLM: 逐字学习检测中文拼写错误

Jun, 2024

C-LLM: Learn to Check Chinese Spelling Errors Character by Character

Kunting Li, Yong Hu, Liang He, Fandong Meng, Jie Zhou

TL;DR我们提出了一种基于大型语言模型的中文拼写检查方法 C-LLM，该方法通过逐个字符检查错误，实现了字符级别的对齐，从而有效地缓解了与字符级别约束相关的问题。在两个中文拼写检查基准测试中的实验表明，C-LLM 相比现有方法平均提升了 10％，在一般场景下提升了 2.1％，在垂直领域场景中有显著的 12％改进，达到了最先进的性能。

Abstract

chinese spell checking (CSC) aims to detect and correct spelling errors in sentences. Despite large language models (LLMs) exhibit robust capabilities and are widely applied in various tasks, their performance on

chinese spell checking large language models c-llm character-level tokenization performance improvement

发现论文，激发创造

汉语拼写校正作为语言模型的改写

本研究探讨了中文拼写纠错，提出了一种新的训练方法 Rephrasing Language Modeling，通过重新构造整个句子而非逐字符标记的方式来纠正拼写错误，取得了在细调和零样本测试中的最新最佳表现，超越了之前的方法，并能在与其他任务联合训练时学习到可迁移的语言表示。

Aug, 2023

丰富语义知识增强的大型语言模型在少样本汉语拼写检查中的应用

通过引入小部分具体的中文丰富语义结构，LLMs 在少样本场景下比基于 BERT 模型的方法表现更好，验证了我们提出框架的优越性。

Mar, 2024

读、听、看：利用多模态信息改善中文拼写检查

本文提出一个基于多模态信息的汉语拼写检查系统 ReaLiSe 来检测和自动纠正用户输入的汉字中常见的误用问题，并在 SIGHAN 基准测试上表现出了明显的优势。

May, 2021

上下文相似性比字符相似性更有价值：汉语拼写纠错的实证研究

提出一种用于中文拼写检查的课程学习框架，结合上下文信息以及字符相似度从简单到困难地训练模型，取得较好性能。实验表明相对于字符相似度，上下文的相似度对于这个任务更加有价值。

Jul, 2022

SpellGCN：将音形相似性融入语言模型中用于中文拼写检查

本文提出一种利用音形相似性知识并结合图卷积网络（SpellGCN）的方法，将其作为语言模型用于中文拼写检查（CSC）中，实现端到端训练，并在人工标注数据集上获得了优于先前模型的表现。

Apr, 2020

对中文拼写检查模型的领域自适应能力的实证研究

本文评估了几种典型的 CSC 模型在多个特定领域的适应能力，并测试了大型语言模型 ChatGPT 的性能。实验证明，CSC 模型在新的领域中性能明显下降。

Jan, 2024

SDCL: 自我蒸馏对比学习用于中文拼写校对

该论文提出了一种基于自我蒸馏对比学习方法的 BERT 修改方式，以适应汉语拼写检查任务所需的语音和字形信息，实验证明该方法可以提高汉语拼写检查准确率。

Oct, 2022

从词典学习：异构知识引导的中文拼写修正微调

本文提出了一种 LEAD 框架，该框架允许 CSC 模型从字典的语音、视觉和含义方面学习异构知识，并通过基于对比学习的训练方案来提高 CSC 模型的表示能力。实验证明该方法有效。

Oct, 2022

通过字符发音预测提升中文拼写检查：自适应性和粒度的影响

本文提出了一种基于 SCOPE 的中文拼写纠错模型，该模型引入了中文发音预测辅助任务用于改进中文拼写检查，并在三个基准测试中实现了新的最高性能，证明了辅助任务的有效性和优越性。

Oct, 2022

过去的错误是未来的智慧：基于误差驱动的对比概率优化的中文拼写检查

提出了一个错误驱动的对比概率优化（ECOPO）框架，通过优化预训练语言模型的知识表示，指导模型避免预测常见字符，提高中文拼写检查的性能。在 SIGHAN 数据集上的实验和分析表明，ECOPO 是简单但有效的。

Mar, 2022