本研究表明，多任务学习是将语言学标注引入端到端神经 attention 模型的一个成功和简单的方法，可以对翻译质量产生改善，并且也可以提高词性标注器的性能。

Aug, 2017

通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

Aug, 2018

本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。

Jun, 2017

本研究提出了通用语义标注的任务，为广泛覆盖的多语言文本提供了更好的语义分析，使用具有语言中立性和信息丰富的标签对词汇进行标注，为跨语言语义分析提供了支持。语义标注在平行意义银行中的应用支持这些论点，并促进形式词汇语义学和跨语言投影，这个研究在一份小的语料库上注释了它的语义标注，并提出了通用性语义标注的新的基线结果。

Sep, 2017

本研究提出一种多任务学习模型，可以同时训练多种语言学层次的任务，并通过一种逐步增加深度的策略来解决越来越复杂的任务。该模型使用一个简单的正则化项来实现在提高某一任务的损失函数时，不影响其他任务的学习效果。实验结果表明，这个端到端的模型在标签、句法分析、相关性与蕴含等五种任务上取得了最先进或有竞争力的结果。

Nov, 2016

本研究介绍了一种使用多任务学习方式训练的分层模型，在一组精心选择的语义任务上取得了最新领先的结果，包括命名实体识别、实体提及检测和关系提取，无需手工设计特征或使用外部 NLP 工具，同时在模型的底层引入归纳偏差，促使模型产生共享语义表示。

Nov, 2018

本文研究了神经机器翻译中不同层面的向量表示的学习情况，并发现高层次对语义的学习更有效，而较低层次对词性标注的学习效果更好。

Jan, 2018

本文通过一系列实验和详细的误差分析，证明了参数初始化的迁移学习和参数共享的多任务学习可以帮助神经分类模型在高度倾斜关系分布上泛化。此外，我们演示了如何利用两个不同关系集合上的双重注释来提高神经分类器的整体准确性和 “F1” 得分，特别是在不太频繁但更难的关系上。

Sep, 2018

提出了一种能够适用于多种自然语言处理任务（包括词性标注、Chunking、命名实体识别和语义角色标注）的统一神经网络架构和学习算法，该系统可以通过学习大量无标注训练数据的内部表示，避免任务特定的工程方法，并构建一个具有良好性能和最小计算要求的可用标记系统。

Mar, 2011

本文中，我们提出了一种多任务学习方法，将来自句法和语义辅助任务的信息（包括否定和推测范围检测）结合起来，创建了更具鲁棒性的英语语言模型，以处理定向情感分析中的语言现象，经实验证明，基于多任务和通过语言建模的迁移学习都能提高模型性能，但总体表现仍有改进的空间。我们在此链接上发布了数据集和源代码。

Oct, 2020