Aug, 2015

序列标注的双向 LSTM-CRF 模型

PDF
TL;DR本文研究了基于 LSTM 模型的序列标注技术，通过引入双向 LSTM 和条件随机场 (CRF) 层提高了模型的准确性和鲁棒性，实现了对 POS、chunking 和 NER 等序列标注数据集的最先进性能。
发现论文，激发创造
  • 一个统一的标注解决方案：使用词嵌入的双向 LSTM 递归神经网络

    本研究提出了一种基于双向长短期记忆递归神经网络（BLSTM-RNN）的统一标记解决方案，可应用于各种标记任务，包括词性标注、分块和命名实体识别，该方法利用从无标记文本中学习的一组独立任务特征和内部表示，并不需要特定的任务知识或复杂的特征工程，在所有这三个标记任务中获得了几乎最先进的性能。

    Nov, 2015

  • 基于 LSTM-CRF 的语义标注

    本文提出了两种模型，分别是 LSTM-CRF 和 BERT-LSTM-CRF，用于语义标记通用语义标记数据集。实验结果表明，第一个模型更易于收敛，而利用 BERT 嵌入的第二个模型需要长时间才能收敛，并需要大型数据集才能有效地进行语义标记。

    Jan, 2023

  • 中文分词的双向 LSTM 循环神经网络

    本文研究了使用双向长短时记忆循环神经网络进行中文分词的方法，实验结果表明，该方法在传统和简体中文数据集上均取得了最佳的性能。

    Feb, 2016

  • 双向 LSTM-CNNs-CRF 的端到端序列标注

    本文提出了一种新颖的神经网络体系结构，该体系结构利用了双向 LSTM，CNN 和 CRF 的组合，自动地从单词和字符级别表示中受益。我们的系统是真正的端到端的，不需要特征工程或数据预处理，因此适用于广泛的序列标注任务。我们在两个数据集上对我们的系统进行了评估，即 Penn Treebank WSJ 语料库用于词性标注和 CoNLL 2003 语料库用于命名实体识别。我们在这两个数据集上获得了最先进的性能 - 词性标注的准确率为 97.55％，命名实体识别的 F1 值为 91.21％。

    Mar, 2016

  • 分层细化标签注意力网络用于序列标注

    提出一种基于层级注意力机制的标签嵌入模型，较传统的 BiLSTM-CRF 有更好的标签序列表示性能，能显著提高词性标注、实体识别和语法标记任务的标注效果并缩短训练和测试时间。

    Aug, 2019

  • 双向长短时记忆模型与辅助损失实现的多语言词性标注

    本研究采用词、字符和 Unicode 字节嵌入比较 bi-LSTM 和传统的 POS 标注器，在 22 种语言中取得了最优性能，并表明 bi-LSTM 对于训练数据大小和标签污染的敏感度被过高估计。

    Apr, 2016

  • 应用于句子分类的密集连接双向 LSTM

    本文提出了一种新的多层 RNN 模型 —— 密集连接的双向长短期记忆网络 (DC-Bi-LSTM)，并在五个句子分类基准数据集上进行了评估。结果显示，相比同等或更少的参数的传统双向 LSTM，深度为 20 的 DC-Bi-LSTM 模型可以成功训练，并获得了显著的改进。此外，与最先进方法相比，我们的模型表现具有很好的潜力。

    Feb, 2018

  • 双向长短时记忆循环神经网络进行词性标注

    使用词嵌入的双向 LSTM 循环神经网络模型（BLSTM-RNN）在词性标注任务中表现出色，可以达到 97.40％的准确率，而且不需要使用形态学特征，同时具备与斯坦福词性标注器相当的性能。

    Oct, 2015

  • 变分双向 LSTM

    本文介绍了一种双向长短时记忆神经网络 (bidirectional LSTMs) 的变型架构 —— 变分双向 LSTM (Variational Bi-LSTM)，该架构可以在训练期间（但在推理时可能被省略）在两条路径之间创建通道，从而共同优化其模型，实现不同信息的交互利用，进而在各项测试中表现出优秀的预测性能。

    Nov, 2017

  • 用于临床概念提取的双向 LSTM-CRF 模型

    本文采用双向 LSTM 和 CRF 解码结合通用词嵌入抽取患者临床记录中的概念，以达到与排名前列的系统相媲美的 2010 年 i2b2 / VA 基准标准语料库实验结果。

    Oct, 2016