本文提出了一种新颖的神经网络体系结构，该体系结构利用了双向 LSTM，CNN 和 CRF 的组合，自动地从单词和字符级别表示中受益。我们的系统是真正的端到端的，不需要特征工程或数据预处理，因此适用于广泛的序列标注任务。我们在两个数据集上对我们的系统进行了评估，即 Penn Treebank WSJ 语料库用于词性标注和 CoNLL 2003 语料库用于命名实体识别。我们在这两个数据集上获得了最先进的性能 - 词性标注的准确率为 97.55％，命名实体识别的 F1 值为 91.21％。

Mar, 2016

本文提出了一种基于深度神经网络的序列标注方法，其包含多语言、多任务学习和交叉语言联合训练，并在包括词性标注、分块和命名实体识别等多个任务中取得了最优性能。

Mar, 2016

本文旨在研究对于资源贫乏的语言的快速语言注释工具的发展，我们采用递归神经网络模型实验了多种跨语言注释映射方法。我们提出了一种真正的多语言标记器方法，并通过使用平行语料库证实了其有效性和通用性。

Sep, 2016

通过引入四种递归神经层实现多任务结构信息融合，对多个相关任务间的复杂互动进行建模，从而在文本分类任务中显著提升相关任务的性能。

Jul, 2017

本文介绍了一种名为 Grounded Recurrent Neural Network (GRNN) 的适用于多标签预测的循环神经网络结构，其具有将标签明确绑定到递归隐状态的特定维度的特点，这个过程叫做 “接地”。 该方法特别适用于从文本中提取大量概念的任务，作者将其应用于解决医疗保健中一个重要的问题：了解临床文本中讨论的医学概念。使用来自 ICU 的公开可用数据集，学习如何从病人的出院总结中标记其诊断和程序，评估结果表明，与使用各种强基线相比，使用我们提出的体系结构具有明显的优势。

May, 2017

本文研究了神经网络在序列标注任务上的最优表现及其通用性，接着讨论了序列标注中的迁移学习问题，并验证了将源任务应用于目标任务可以大幅提高性能，从而超越了多个经典任务的最优表现。

Mar, 2017

提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题，可以对 AMR 图和基于语法的神经机器翻译进行生成，实验结果表明该模型优于强基线模型。

Jun, 2018

本文提出了两种基于神经序列模型的多任务学习架构，采用 message-passing graph 神经网络的思想，构建了通信的图多任务学习框架，并在文本分类和序列标注任务上进行了大量实验，证明了其在多任务学习和迁移学习上的有效性和可解释性。

Nov, 2018

本文提出了基于多任务学习框架的神经网络方法，采用循环神经网络来建模具有特定任务和共享层的文本，并在四个基准文本分类任务的实验中显示出该方法可以提高其他相关任务的性能。

May, 2016

提出了使用基于注意力机制的人工神经网络（RNNs）来实现序列建模任务的机制，它允许 RNNs 关注需要的输入的关键部分。通过使用一个多层的有条件序列编码器，读取一个令牌并对其进行离散的决策，来控制信息流入以上层。此方法在几种任务类型上进行评估，包括各种属性的合成任务以及大规模的问答任务，并且相对于已有的基准模型，都得到了一致的性能改进。

Jun, 2018