提出一种考虑语法标签的递归神经网络 (RvNN) 架构，通过引入结构感知的标签表示，可以控制现有单词级树 LSTM 的组合函数，进而在情感分析和自然语言推理等句子级任务中取得了较优或有竞争力的表现。

Sep, 2018

本文比较了基于语法树递归生成表征的递归神经模型与基于序列生成表征的循环神经模型（包括简单循环和 LSTM 模型）在情感分类、问答匹配、话语解析和语义关系提取等 4 个任务上的效果，并提出一种将长句子分解为类从句单元再分别处理的方法以提高循环模型的性能。研究结果表明递归模型在头词之间相隔较远、序列较长的任务上可优于循环模型，同时也揭示了两类模型的局限性以及未来改进方向。

Feb, 2015

本文提出了一种新颖的神经网络体系结构，该体系结构利用了双向 LSTM，CNN 和 CRF 的组合，自动地从单词和字符级别表示中受益。我们的系统是真正的端到端的，不需要特征工程或数据预处理，因此适用于广泛的序列标注任务。我们在两个数据集上对我们的系统进行了评估，即 Penn Treebank WSJ 语料库用于词性标注和 CoNLL 2003 语料库用于命名实体识别。我们在这两个数据集上获得了最先进的性能 - 词性标注的准确率为 97.55％，命名实体识别的 F1 值为 91.21％。

Mar, 2016

本文提出了一种基于树形结构的注意力神经网络模型，用于情感分类问题。该模型使用自下向上和自上而下的信息传播结合语法树中节点周围的结构信息。模型在构建句法树时，利用结构注意力识别最显著的表示。实验结果表明，该模型在斯坦福情感树库数据集上实现了最先进的性能表现。

Jan, 2017

本文提出了一种使用双向循环神经网络联合对应多个相关任务的新技术，用于在缺乏标点和格式化的自动语音识别输出中改善标点和大写字母的性能，并可扩展到联合建模任何其他相关序列标记任务。

Mar, 2017

本文旨在研究对于资源贫乏的语言的快速语言注释工具的发展，我们采用递归神经网络模型实验了多种跨语言注释映射方法。我们提出了一种真正的多语言标记器方法，并通过使用平行语料库证实了其有效性和通用性。

Sep, 2016

本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks（PRPN），利用其特定的神经网络结构能够自动识别未标注的句子的句法结构，并利用它来学习更好的语言模型。实验证明，该模型能够发现底层的句法结构，并在单词 / 字符水平的语言模型任务上取得了最先进水平。

Nov, 2017

本文基于多任务门控循环神经网络的案例，提出了一种识别对网络最终预测贡献的关键词汇并分析 RNNs 激活模式的方法。发现该网络的语言模型层对句法功能词汇更敏感，而预测图像的层对句子的信息结构和语义信息更加敏感，并学会了根据词汇的语法功能进行不同处理，而被分化的各个隐藏单元则用于在长时间步骤中传递信息以编码长期任务相关性。

Feb, 2016

本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

Apr, 2017

使用词嵌入的双向 LSTM 循环神经网络模型（BLSTM-RNN）在词性标注任务中表现出色，可以达到 97.40％的准确率，而且不需要使用形态学特征，同时具备与斯坦福词性标注器相当的性能。

Oct, 2015