Oct, 2018

基于 Lattice LSTM 的中文分词的子词编码

PDF
TL;DR本文研究了一种基于格子结构的长短时记忆网络，通过与词典匹配子序列信息实现对中文分词的支持，并通过对比 Word Encoding 和 Subword Encoding 两种编码方式表明 Subword Encoding 更具优势。结果表明本文提出的模型在四个分词基准测试中表现出与先前最先进的方法相当甚至更好的结果，并对其表现和性能进行了深入分析。
发现论文，激发创造
  • 基于 Lattice LSTM 的中文命名实体识别

    本文研究了一种基于格子结构的 LSTM 模型用于汉语命名实体识别，在编码一系列输入字符的同时，还编码与词典匹配的所有潜在词。与基于字符的方法相比，我们的模型明确利用了单词和单词序列信息。与基于单词的方法相比，格内 LSTM 不受分割错误的影响。门控循环单元允许我们的模型从句子中选择最相关的字符和单词以达到更好的命名实体识别结果。各种数据集上的实验表明了格内 LSTM 优于基于单词和字符的 LSTM 基线，取得了最佳结果。

    May, 2018

  • 中文分词的多字符嵌入

    本篇论文提出一种采用多种字符嵌入的共享 Bi-LSTM-CRF 模型来进行中文分词，并在实验中证明此方法能够显著提高分词准确率，同时在 AS 和 CityU 语料库中取得了 96.9 和 97.3 的最优 F1 得分。

    Aug, 2018

  • 基于格点的 Transformer 编码器用于神经机器翻译

    通过引入基于格的编码器，本研究旨在探索有效的单词或子单词表示形式，进而提高基于 Transformer 的神经机器翻译的性能。实验证明，这种新型编码器在单词水平和子单词水平的表示方面优于传统的 Transformer 编码器。

    Jun, 2019

  • 神经网络中的中文分词：序列到序列翻译模型

    提出了一种基于注意力机制编码解码框架的序列到序列的中文分词模型，拥有全局信息和多任务融合的能力，并在微博、北大和微软亚洲等数据集上取得了与最先进方法相当的竞争性能。

    Nov, 2019

  • 文本理解中有效的子词分割

    通过利用子词增强嵌入式框架，本文介绍了一种学习和合成计算产生的子词级别表示的新方法，经过在英文和汉语测试基准上的各种文本理解任务中的实验测试，发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。

    Nov, 2018

  • 中文神经分词学习

    本文提出了一种新颖的神经网络框架，利用门控组合神经网络和 LSTM 语言评分模型，消除上下文窗口，可以利用完整的分词历史，产生分布式表示，从而实现中文分词，并在基准数据集上进行实验，结果不需要使用现有方法的特征工程，获得了与现有最先进方法相当甚至更好的性能。

    Jun, 2016

  • 用于不确定输入的神经格点序列模型

    研究使用基于树结构的神经网络模型作为编码器建立语音翻译模型，使用词汇图来代替输入，可以提高翻译准确性。

    Apr, 2017

  • Lattice-BERT: 在中文预训练语言模型中利用多粒度表示

    该研究提出了一种新的中文预训练模型 Lattice-BERT，使用字符和词语来构建格状结构，实现了多粒度的文本建模，在 11 个中文自然语言理解任务中取得了 1.5% 的平均增益，并在 CLUE 基准测试中达到了新的最优表现。

    Apr, 2021

  • 使用词嵌入的卷积神经网络用于中文分词

    本文提出了基于卷积神经网络的、能够自动获取丰富 n-gram 特征的中文分词模型，并结合词嵌入有效地解决了单个字不足以表示完整词汇信息的问题，经过在 PKU 和 MSR 两个基准数据集的实验，该模型在两个数据集上均表现出有竞争力的性能。

    Nov, 2017

  • 用于日本语分词的长短期记忆

    本文介绍了一种基于 Long Short-Term Memory（LSTM）神经网络的日文分词方法，该方法考虑了日文中的汉字、平假名和片假名等正字体的变异及其难度，同时考虑了全局语境因素，实验结果表明该方法在实现不同日语语料库上达到了最先进的准确性。

    Sep, 2017