组件增强的汉字嵌入
本文提出一种基于三级组合的模型来学习中文词嵌入,其中包括卷积神经网络从字符视觉形状中提取内部组合性,循环神经网络与自我注意力将字符表示组合成词嵌入,以及 Skip-Gram 框架从上下文信息中直接捕捉非组合性。在四个任务上的评估表明了我们模型的优越性能:词相似性、情感分析、命名实体识别和词性标注。
Feb, 2019
本篇论文提出一种采用多种字符嵌入的共享 Bi-LSTM-CRF 模型来进行中文分词,并在实验中证明此方法能够显著提高分词准确率,同时在 AS 和 CityU 语料库中取得了 96.9 和 97.3 的最优 F1 得分。
Aug, 2018
本文提出了一种新的方法,利用单词结构并将词汇语义融入预训练模型的字符表示中,以加强单词信息的表达,通过词 - 字符对齐注意机制和集成方法来提高不同中文自然语言处理任务的性能,并进一步证明了模型各组件的有效性。
Jul, 2022
利用偏旁部首进行汉字向量嵌入,研发了一种具有专门神经网络结构的方法,在中文字符相似度判别和中文词分割等任务上,该方法通过整合汉字中的偏旁部首信息,实现了较好的效果。
Apr, 2014
本文提出了一种新的基于汉字视觉外观的表示方法,采用卷积神经网络来将汉字的空间 - 结构模式以原始像素的方式统一表示,从而在两个基本的中文 NLP 任务:语言建模和分词中有效地表征了每个字符的语义和句法信息。
Aug, 2017
本文提出了基于卷积神经网络的、能够自动获取丰富 n-gram 特征的中文分词模型,并结合词嵌入有效地解决了单个字不足以表示完整词汇信息的问题,经过在 PKU 和 MSR 两个基准数据集的实验,该模型在两个数据集上均表现出有竞争力的性能。
Nov, 2017
本文提出了一种简单而有效的基于神经网络的框架 ME-CNER,用于通过多粒度的字符级表示来识别汉语微博中的命名实体。实验结果表明,该方法在 Weibo 数据集上取得了显著的性能提升。
Aug, 2019
本文提出一种基于循环神经网络的语言模型,并利用字符信息中的 n-gram 构建单词嵌入,结合常规单词嵌入。该模型在语言模型数据集上取得最佳困惑度,同时在机器翻译和标题生成等应用任务中也表现出较好的性能。
Jun, 2019
本文介绍了如何在中文情感分类中使用单词嵌入作为特征,并建立了一个包含一百万个评论的中文意见语料库。通过使用不同的机器学习方法,包括支持向量机 (SVM),逻辑回归 (Logistic Regression),卷积神经网络 (CNN) 和集成方法,这些方法相对于使用朴素贝叶斯 (NB) 和最大熵 (ME) 的 n-gram 模型获得了更好的性能。最后,提出了一种组合机器学习方法,并在语料库上进行测试,最终的 F1 分数为 0.920。
Nov, 2015