EMNLPNov, 2015

一个统一的标注解决方案：使用词嵌入的双向 LSTM 递归神经网络

PDF
TL;DR本研究提出了一种基于双向长短期记忆递归神经网络（BLSTM-RNN）的统一标记解决方案，可应用于各种标记任务，包括词性标注、分块和命名实体识别，该方法利用从无标记文本中学习的一组独立任务特征和内部表示，并不需要特定的任务知识或复杂的特征工程，在所有这三个标记任务中获得了几乎最先进的性能。
bidirectional long short-term memory recurrent neural networkblstm-rnnsequential datatagging tasksnamed entity recognition
发现论文，激发创造
  • 双向长短时记忆循环神经网络进行词性标注

    使用词嵌入的双向 LSTM 循环神经网络模型（BLSTM-RNN）在词性标注任务中表现出色，可以达到 97.40％的准确率，而且不需要使用形态学特征，同时具备与斯坦福词性标注器相当的性能。

    Oct, 2015

  • 中文分词的双向 LSTM 循环神经网络

    本文研究了使用双向长短时记忆循环神经网络进行中文分词的方法，实验结果表明，该方法在传统和简体中文数据集上均取得了最佳的性能。

    Feb, 2016

  • 双向长短时记忆模型与辅助损失实现的多语言词性标注

    本研究采用词、字符和 Unicode 字节嵌入比较 bi-LSTM 和传统的 POS 标注器，在 22 种语言中取得了最优性能，并表明 bi-LSTM 对于训练数据大小和标签污染的敏感度被过高估计。

    Apr, 2016

  • 序列标注的双向 LSTM-CRF 模型

    本文研究了基于 LSTM 模型的序列标注技术，通过引入双向 LSTM 和条件随机场 (CRF) 层提高了模型的准确性和鲁棒性，实现了对 POS、chunking 和 NER 等序列标注数据集的最先进性能。

    Aug, 2015

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 使用长短期记忆网络的深度句子嵌入：分析和在信息检索中的应用

    本文提出了一种基于循环神经网络和长短时记忆单元的句子嵌入模型，该模型能够自动侦测句子中关键词和主题，从而进行网络文档检索等艰难的语言处理任务，并在性能上显著优于现有的先进方法。

    Feb, 2015

  • 双向 LSTM-CNNs-CRF 的端到端序列标注

    本文提出了一种新颖的神经网络体系结构，该体系结构利用了双向 LSTM，CNN 和 CRF 的组合，自动地从单词和字符级别表示中受益。我们的系统是真正的端到端的，不需要特征工程或数据预处理，因此适用于广泛的序列标注任务。我们在两个数据集上对我们的系统进行了评估，即 Penn Treebank WSJ 语料库用于词性标注和 CoNLL 2003 语料库用于命名实体识别。我们在这两个数据集上获得了最先进的性能 - 词性标注的准确率为 97.55％，命名实体识别的 F1 值为 91.21％。

    Mar, 2016

  • 基于元 - BiLSTM 模型的上下文敏感词元编码词性标注

    本研究探讨了将具有句子级上下文信息的递归神经网络用于初始化字符和单词级别的表示，并通过元模型进行同步训练来优化其性能，以实现词性标注和形态标记的最佳性能表现。

    May, 2018

  • 使用双向 LSTM 进行犹豫检测

    本文提出了一种利用双向 LSTM 神经网络进行自修复检测的方法，并使用模式匹配特征来降低对于词汇量的敏感度，提高了模型的性能。实验结果表明，在 Switchboard 语料库中，模型在标准的自修复检测任务和纠正检测任务中均表现出了出色的性能，特别是将非重复性的自修复鉴别效果提升明显。

    Apr, 2016

  • 应用于句子分类的密集连接双向 LSTM

    本文提出了一种新的多层 RNN 模型 —— 密集连接的双向长短期记忆网络 (DC-Bi-LSTM)，并在五个句子分类基准数据集上进行了评估。结果显示，相比同等或更少的参数的传统双向 LSTM，深度为 20 的 DC-Bi-LSTM 模型可以成功训练，并获得了显著的改进。此外，与最先进方法相比，我们的模型表现具有很好的潜力。

    Feb, 2018