ACLMay, 2023

说文解字：重新思考中文语言预训练的词典和字形

PDF
TL;DRCDBERT 是一种改进了语义理解的学习范例，它结合了语汇知识和汉字结构。该方法使用 Shuowen 和 Jiezi 两个核心模块，前者用于从汉字字典中获取最合适的意义，后者用于通过结构理解增强汉字的字形表示。通过在现代汉语理解基准 CLUE 和古代汉语基准 CCLUE 上评估，我们的方法表现出对以前的汉语 PLM 的一致提高。此外，我们在收集的古代汉字字典上提出了一种新的多义词鉴别任务 PolyMRC，并在古代汉语理解的少量数据情况下获得了显著的提升。
发现论文，激发创造
  • ChineseBERT: 利用字形和拼音信息加强的中文预训练模型

    本文提出了一种新的预训练语言模型 ChineseBERT，将汉字的字形、拼音信息融合到语言模型预训练中，该模型在多个汉语自然语言处理任务上取得了新的最佳表现。

    Jun, 2021

  • 具有词典知识的神经网络中文分词

    本文探讨了优化中文分词的策略，两种基于神经网络的方法被提出，分别是基于伪标签数据的生成和基于多任务学习。实验结果验证了这些方法在缺乏标注数据时都能有效地提高性能。

    Jul, 2018

  • 从词典学习：异构知识引导的中文拼写修正微调

    本文提出了一种 LEAD 框架，该框架允许 CSC 模型从字典的语音、视觉和含义方面学习异构知识，并通过基于对比学习的训练方案来提高 CSC 模型的表示能力。实验证明该方法有效。

    Oct, 2022

  • SDCL: 自我蒸馏对比学习用于中文拼写校对

    该论文提出了一种基于自我蒸馏对比学习方法的 BERT 修改方式，以适应汉语拼写检查任务所需的语音和字形信息，实验证明该方法可以提高汉语拼写检查准确率。

    Oct, 2022

  • 神经网络中文拼音输入法的开放词汇学习

    该研究提出一种神经模型来支持开放式词汇学习，基于在线更新的词汇表对拼音到汉字的转换进行优化，实验证明该方法在标准语料库和真实输入历史数据集上表现优异，有效地遵循用户输入行为。

    Nov, 2018

  • 中文分词的多字符嵌入

    本篇论文提出一种采用多种字符嵌入的共享 Bi-LSTM-CRF 模型来进行中文分词，并在实验中证明此方法能够显著提高分词准确率，同时在 AS 和 CityU 语料库中取得了 96.9 和 97.3 的最优 F1 得分。

    Aug, 2018

  • 利用词语语义丰富汉语预训练模型的字表示

    本文提出了一种新的方法，利用单词结构并将词汇语义融入预训练模型的字符表示中，以加强单词信息的表达，通过词 - 字符对齐注意机制和集成方法来提高不同中文自然语言处理任务的性能，并进一步证明了模型各组件的有效性。

    Jul, 2022

  • 古代汉语 CWS 和 POS 的基于不确定性的检索框架

    提出古代汉语词分割和词性标注框架，通过捕捉词性语义和引入外部知识重新预测基线模型的不确定样本，有效提升性能。

    Oct, 2023

  • 探索汉语拼音在预训练中的应用

    探索了在预训练模型中使用拼音的各种方法，并提出了一种名为 PmBERT 的新的预训练方法，通过精细的预训练任务，将字符和拼音表示融合，增强了对同音或近音错误的容错能力。通过全面的实验和消融测试，证明了我们的模型在构建的带噪音数据集和公开的错误校正数据集上相比最先进模型更为稳健。

    Oct, 2023

  • VCWE: 可视化字符增强词嵌入

    本文提出一种基于三级组合的模型来学习中文词嵌入，其中包括卷积神经网络从字符视觉形状中提取内部组合性，循环神经网络与自我注意力将字符表示组合成词嵌入，以及 Skip-Gram 框架从上下文信息中直接捕捉非组合性。在四个任务上的评估表明了我们模型的优越性能：词相似性、情感分析、命名实体识别和词性标注。

    Feb, 2019