Aug, 2018

双向 LSTM 在中文分词中的最新进展

PDF
TL;DR在中文分词任务中，与更复杂的神经网络模型相比，双向 LSTM 模型结合标准深度学习技术和最佳实践能够在许多流行数据集上实现更好的精度。此外，错误分析表明，对于神经网络模型而言，词汇外的单词仍然具有挑战性，其余错误不太可能通过架构更改来修复，而是应该更加努力地探索资源以进一步提高精度。
发现论文，激发创造
  • 中文分词的双向 LSTM 循环神经网络

    本文研究了使用双向长短时记忆循环神经网络进行中文分词的方法，实验结果表明，该方法在传统和简体中文数据集上均取得了最佳的性能。

    Feb, 2016

  • 中文神经分词学习

    本文提出了一种新颖的神经网络框架，利用门控组合神经网络和 LSTM 语言评分模型，消除上下文窗口，可以利用完整的分词历史，产生分布式表示，从而实现中文分词，并在基准数据集上进行实验，结果不需要使用现有方法的特征工程，获得了与现有最先进方法相当甚至更好的性能。

    Jun, 2016

  • 基于有向无环图的长短时记忆网络用于语言分词

    本文介绍了一种新型神经模型，通过在有向无环图上使用长短时记忆网络来整合单词级别信息，结合预训练的字符或单词嵌入向量，实现了比基准模型更好的中文分词表现。

    Jul, 2017

  • 自我关注网络在中文分词中的应用研究

    研究了自注意网络和 BERT 对中文分词任务的影响，提出了将词信息集成到自注意网络中的方法，并展示了该方法在 6 个领域基准测试中的最佳结果。

    Jul, 2019

  • 双向长短时记忆模型与辅助损失实现的多语言词性标注

    本研究采用词、字符和 Unicode 字节嵌入比较 bi-LSTM 和传统的 POS 标注器，在 22 种语言中取得了最优性能，并表明 bi-LSTM 对于训练数据大小和标签污染的敏感度被过高估计。

    Apr, 2016

  • 应用于句子分类的密集连接双向 LSTM

    本文提出了一种新的多层 RNN 模型 —— 密集连接的双向长短期记忆网络 (DC-Bi-LSTM)，并在五个句子分类基准数据集上进行了评估。结果显示，相比同等或更少的参数的传统双向 LSTM，深度为 20 的 DC-Bi-LSTM 模型可以成功训练，并获得了显著的改进。此外，与最先进方法相比，我们的模型表现具有很好的潜力。

    Feb, 2018

  • 基于 Lattice LSTM 的中文命名实体识别

    本文研究了一种基于格子结构的 LSTM 模型用于汉语命名实体识别，在编码一系列输入字符的同时，还编码与词典匹配的所有潜在词。与基于字符的方法相比，我们的模型明确利用了单词和单词序列信息。与基于单词的方法相比，格内 LSTM 不受分割错误的影响。门控循环单元允许我们的模型从句子中选择最相关的字符和单词以达到更好的命名实体识别结果。各种数据集上的实验表明了格内 LSTM 优于基于单词和字符的 LSTM 基线，取得了最佳结果。

    May, 2018

  • 双向神经语言模型下的无监督分词

    本文介绍一种基于上下文敏感的无监督词分割模型，使用双向神经语言模型和两种解码算法来增强长期和短期的相关性，该模型在不同的数据集上实现了最新技术水平的中文和泰文词分割结果。

    Mar, 2021

  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 一个统一的标注解决方案：使用词嵌入的双向 LSTM 递归神经网络

    本研究提出了一种基于双向长短期记忆递归神经网络（BLSTM-RNN）的统一标记解决方案，可应用于各种标记任务，包括词性标注、分块和命名实体识别，该方法利用从无标记文本中学习的一组独立任务特征和内部表示，并不需要特定的任务知识或复杂的特征工程，在所有这三个标记任务中获得了几乎最先进的性能。

    Nov, 2015