Aug, 2023

汉语拼写校正作为语言模型的改写

PDF
TL;DR本研究探讨了中文拼写纠错，提出了一种新的训练方法 Rephrasing Language Modeling，通过重新构造整个句子而非逐字符标记的方式来纠正拼写错误，取得了在细调和零样本测试中的最新最佳表现，超越了之前的方法，并能在与其他任务联合训练时学习到可迁移的语言表示。
chinese spelling correctionbert-based modelsrephrasing language modelingstate-of-the-art resultstransferable language representation
发现论文，激发创造
  • 重新思考用于中文拼写纠正的遮盖语言建模

    通过发现 BERT 对中文拼写纠正的影响，本文提出随机蒙掉输入序列 20％的非错误标记是一种简单有效的提高语言模型和错误模型的技术，它可以被应用于任何模型架构，并在 SIGHAN 等基准测试中取得了新的最优结果

    May, 2023

  • C-LLM: 逐字学习检测中文拼写错误

    我们提出了一种基于大型语言模型的中文拼写检查方法 C-LLM，该方法通过逐个字符检查错误，实现了字符级别的对齐，从而有效地缓解了与字符级别约束相关的问题。在两个中文拼写检查基准测试中的实验表明，C-LLM 相比现有方法平均提升了 10％，在一般场景下提升了 2.1％，在垂直领域场景中有显著的 12％改进，达到了最先进的性能。

    Jun, 2024

  • 丰富语义知识增强的大型语言模型在少样本汉语拼写检查中的应用

    通过引入小部分具体的中文丰富语义结构，LLMs 在少样本场景下比基于 BERT 模型的方法表现更好，验证了我们提出框架的优越性。

    Mar, 2024

  • 读、听、看：利用多模态信息改善中文拼写检查

    本文提出一个基于多模态信息的汉语拼写检查系统 ReaLiSe 来检测和自动纠正用户输入的汉字中常见的误用问题，并在 SIGHAN 基准测试上表现出了明显的优势。

    May, 2021

  • 探索与利用：提高中文拼写纠正模型的两种方式

    本文介绍了一种利用序列到序列学习和神经网络的方法来进行汉语拼写纠错，通过不断发现模型的弱点生成更有价值的训练实例并进行任务特定的预训练，逐步将生成的对抗性示例添加到训练集中的对抗性训练方法，可以提高多个 CSC 模型的泛化能力和鲁棒性，达到了 CSC 任务的最先进表现。

    May, 2021

  • 使用软掩码 BERT 进行拼写错误纠正

    本 paper 提出了一种基于新颖的神经网络结构和所谓的软遮罩技术的基于 BERT 的拼写错误检测与纠正方法，可以显著提高其准确性，适用于其他语言纠错问题。

    May, 2020

  • SDCL: 自我蒸馏对比学习用于中文拼写校对

    该论文提出了一种基于自我蒸馏对比学习方法的 BERT 修改方式，以适应汉语拼写检查任务所需的语音和字形信息，实验证明该方法可以提高汉语拼写检查准确率。

    Oct, 2022

  • RSpell：领域自适应中文拼写检查的检索增强框架

    我们提出了一种称为 RSpell 的检索增强的拼写检查框架，通过搜索相应的领域术语并将其合并到拼写检查模型中，来增强其错误纠正能力。通过结合拼音模糊匹配和输入，我们引入了一种自适应过程控制机制来动态调整外部知识对模型的影响，同时采用迭代策略加强了 RSpell 框架的推理能力。通过在法律、医学和官方文件撰写三个领域的 CSC 数据集上进行实验，结果表明 RSpell 在零样本和微调场景下均取得了最先进的性能，验证了检索增强的拼写检查框架的有效性。我们的代码可在 https URL 获取。

    Aug, 2023

  • 对中文拼写检查模型的领域自适应能力的实证研究

    本文评估了几种典型的 CSC 模型在多个特定领域的适应能力，并测试了大型语言模型 ChatGPT 的性能。实验证明，CSC 模型在新的领域中性能明显下降。

    Jan, 2024

  • uChecker：使用掩码预训练语言模型作为无监督中文拼写检查器

    本文介绍了一个名为 uChecker 的框架，该框架采用无监督的方法对汉语拼写错误进行检测和修正，其中使用 BERT 这样的模型作为骨干模型，并采用混淆集引导的 MASKing 策略来优化模型训练。实验结果表明，uChecker 在汉语拼写错误检测和修正任务的字符级和句子级准确性、精度、召回率和 F1 度量方面的表现是有效的。

    Sep, 2022