本文通过详细的实证研究探讨了神经网络模型架构（如：LSTM、CNN 或自我注意力）对端到端 NLP 任务准确性和语言表示质量影响的权衡，研究结果表明预训练的双向语言模型可以学习到关于语言结构比以往认为的更多，无论采用何种架构，都是学习到高质量的上下文表示。

Aug, 2018

本文介绍了一种基于深度学习的跨句子关系抽取模型，以生物医学领域中的生化事件为例，探讨如何自动给生化事件赋予其所处的生物体系背景，并提出了两种不同的神经网络模型分类器，结果表明，该模型精度比传统机器学习模型更高，特别是在跨句子关系抽取方面的难度更高。

Dec, 2021

本文介绍了一种新颖的深度学习框架，包括基于词汇表的方法用于句子级别情感标签预测。我们首先应用语义规则，然后使用深度卷积神经网络（DeepCNN）进行字符级嵌入，以增加词级嵌入的信息。然后，双向长短期记忆网络（Bi-LSTM）从词级嵌入中产生句子级特征表示。我们在三个 Twitter 情感分类数据集上评估了我们的方法。实验结果表明，我们的模型可以提高 Twitter 社交网络中句子级情感分析的分类准确性。

Jun, 2017

本文通过系统评估普遍用于序列模型的通用卷积和循环神经网络架构，研究了应该选择哪种架构。结果表明，简单的卷积神经网络优于经典的循环网络，同时具有更长的有效内存。因此，序列建模与循环神经网络的通常联系应该被重新考虑，卷积网络应该被视为序列建模任务的自然起点。

Mar, 2018

本文针对 SemEval 2010 关系分类任务，研究了两种不同的神经网络结构：卷积神经网络和循环神经网络。我们分别演示了模型不同结构的效果，并提出了一种针对卷积神经网络的新型上下文表示法和针对连接主义双向循环神经网络的排名损失优化方法。最后，我们展示了使用简单投票方案将卷积神经网络和循环神经网络结合起来可以提高结果的准确性。我们的神经模型在 SemEval 2010 关系分类任务上获得了最先进的结果。

May, 2016

本研究基于最先进的深度学习模型（SSN-4 模型），探讨了不同的模型组件对表现和复杂性之间的平衡，同时调整单词嵌入来提高性能，并提出了一个解决第一个模型中混淆的对的第二个模型。结果表明，SSN-4 模型似乎不适用于 RCT 数据集之外。

Jan, 2022

本文提出了一种新的多层 RNN 模型 —— 密集连接的双向长短期记忆网络 (DC-Bi-LSTM)，并在五个句子分类基准数据集上进行了评估。结果显示，相比同等或更少的参数的传统双向 LSTM，深度为 20 的 DC-Bi-LSTM 模型可以成功训练，并获得了显著的改进。此外，与最先进方法相比，我们的模型表现具有很好的潜力。

Feb, 2018

本文探索了一种深度学习框架，用于解决答案选择问题，结合双向长短期记忆模型、卷积神经网络和注意力机制，结果表明该模型在 TREC-QA 和 InsuranceQA 数据集上优于已有模型。

Nov, 2015

论文提出了一种新的深度学习架构，用于解决自然语言推理任务，采用依赖阅读的双向 LSTM 网络（DR-BiLSTM）来模拟前提和假设之间的关系。采用复杂的集成策略将多个模型组合起来，进一步提高了结果。研究表明 DR-BiLSTM 在 Stanford NLI 数据集上获得了最佳单模型和集成模型效果，取得了新的最优成绩。

Feb, 2018

本文提出了两种基于神经序列模型的多任务学习架构，采用 message-passing graph 神经网络的思想，构建了通信的图多任务学习框架，并在文本分类和序列标注任务上进行了大量实验，证明了其在多任务学习和迁移学习上的有效性和可解释性。

Nov, 2018