EMNLPOct, 2022

从词典学习：异构知识引导的中文拼写修正微调

PDF
TL;DR本文提出了一种 LEAD 框架，该框架允许 CSC 模型从字典的语音、视觉和含义方面学习异构知识，并通过基于对比学习的训练方案来提高 CSC 模型的表示能力。实验证明该方法有效。
chinese spell checkingcscpretrained knowledgelead frameworkdictionary
发现论文，激发创造
  • 读、听、看：利用多模态信息改善中文拼写检查

    本文提出一个基于多模态信息的汉语拼写检查系统 ReaLiSe 来检测和自动纠正用户输入的汉字中常见的误用问题，并在 SIGHAN 基准测试上表现出了明显的优势。

    May, 2021

  • SDCL: 自我蒸馏对比学习用于中文拼写校对

    该论文提出了一种基于自我蒸馏对比学习方法的 BERT 修改方式，以适应汉语拼写检查任务所需的语音和字形信息，实验证明该方法可以提高汉语拼写检查准确率。

    Oct, 2022

  • 中文拼写检查的全面评估和分析研究

    开发预训练模型和结合语音和图像信息使神经模型在中文拼写检查方面取得了高分，该研究通过构建不同目的的综合测试集，实现了这一典型模型范式并进行了实验，在结果的详细分析中发现了四个重要发现。

    Jul, 2023

  • 基于 BERT 的中文拼写检查模型的层间注意力和高斯混合模型增强

    基于 BERT 的模型在中文拼写检查任务方面表现出了显著的能力，然而传统的基于 BERT 的方法仍存在两个局限性：第一，虽然之前的研究发现明确的先验知识如词性标注对于拼写检查任务有益，但他们忽略了拼写错误会导致错误标签从而误导模型的事实；此外，他们忽视了 BERT 中间层所编码的隐含分层信息与不同的语言现象之间的相关性，从而导致了次优的准确性。我们提出了一种异构知识注入框架来减轻上述两个问题。为了整合明确的词性知识，我们采用了由高斯混合模型驱动的辅助任务策略。同时，为了整合编码器中的隐含的分层语言知识，我们提出了一种新颖的基于 n-gram 的逐层自注意力形式来生成多层表示。实验结果表明，我们提出的框架在四个强基准模型上都有稳定的性能提升，并且在两个数据集上优于先前的最先进方法。

    Dec, 2023

  • 丰富语义知识增强的大型语言模型在少样本汉语拼写检查中的应用

    通过引入小部分具体的中文丰富语义结构，LLMs 在少样本场景下比基于 BERT 模型的方法表现更好，验证了我们提出框架的优越性。

    Mar, 2024

  • 探索与利用：提高中文拼写纠正模型的两种方式

    本文介绍了一种利用序列到序列学习和神经网络的方法来进行汉语拼写纠错，通过不断发现模型的弱点生成更有价值的训练实例并进行任务特定的预训练，逐步将生成的对抗性示例添加到训练集中的对抗性训练方法，可以提高多个 CSC 模型的泛化能力和鲁棒性，达到了 CSC 任务的最先进表现。

    May, 2021

  • 探究汉字拼写检查中的字形音系信息：成效与展望

    本文探讨利用预训练模型及字形和语音信息提高中文拼写检查的实用性，并提出新的实用性检测方法。

    Dec, 2022

  • 通过字符发音预测提升中文拼写检查：自适应性和粒度的影响

    本文提出了一种基于 SCOPE 的中文拼写纠错模型，该模型引入了中文发音预测辅助任务用于改进中文拼写检查，并在三个基准测试中实现了新的最高性能，证明了辅助任务的有效性和优越性。

    Oct, 2022

  • C-LLM: 逐字学习检测中文拼写错误

    我们提出了一种基于大型语言模型的中文拼写检查方法 C-LLM，该方法通过逐个字符检查错误，实现了字符级别的对齐，从而有效地缓解了与字符级别约束相关的问题。在两个中文拼写检查基准测试中的实验表明，C-LLM 相比现有方法平均提升了 10％，在一般场景下提升了 2.1％，在垂直领域场景中有显著的 12％改进，达到了最先进的性能。

    Jun, 2024

  • 对中文拼写检查模型的领域自适应能力的实证研究

    本文评估了几种典型的 CSC 模型在多个特定领域的适应能力，并测试了大型语言模型 ChatGPT 的性能。实验证明，CSC 模型在新的领域中性能明显下降。

    Jan, 2024