本研究提出一种多任务学习模型，可以同时训练多种语言学层次的任务，并通过一种逐步增加深度的策略来解决越来越复杂的任务。该模型使用一个简单的正则化项来实现在提高某一任务的损失函数时，不影响其他任务的学习效果。实验结果表明，这个端到端的模型在标签、句法分析、相关性与蕴含等五种任务上取得了最先进或有竞争力的结果。

Nov, 2016

在大数据和数字医疗领域，电子健康记录（EHR）已成为丰富信息的来源，具有改善患者护理和医学研究的潜力。近年来，机器学习模型不断增多，用于分析 EHR 数据以预测患者未来的健康状况。其中，一些研究主张采用多任务学习（MTL）来共同预测多种目标疾病，以提高预测性能，然而，目前针对 EHR 数据的 MTL 框架存在重要限制，因为它们过于依赖人为专家来识别任务组合以进行联合训练和设计模型架构。为了减少人工干预并改进框架设计，我们提出了一种名为 AutoDP 的自动化方法，它能够同时搜索任务组合和架构的最佳配置。为了解决任务组合和架构包含的庞大搜索空间，我们采用基于代理模型的优化，使我们能够高效地发现最优解。对真实世界的 EHR 数据的实验结果表明了提出的 AutoDP 框架的有效性。它在手工设计和自动化的最先进方法上取得了显著的性能改进，同时也保持了可行的搜索成本。

Mar, 2024

通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

Dec, 2023

提出了一种基于超网络的方法，使用任务条件参数和多任务预测模型的系数来学习任务特定的预测并平衡多任务学习，将语义任务信息合并到模型中，以解决多任务学习中的干扰和泛化问题，并在真实世界的 MIMIC 数据库上表现出比强基线更好的多任务病人结果预测性能，在限制信息场景及对未见过的诊断类别问题，也能有效地应对。

Sep, 2021

本文对近期自然语言处理领域中的多任务学习方法进行了调查，总结了两种基于任务相关性的多任务训练方法：联合训练和多步训练。文章对自然语言处理领域中几个下游应用案例进行了说明，总结了任务关系，并讨论了未来的研究方向。

Apr, 2022

提出了一种新的框架，称为 TANL，可用于各种结构预测语言任务，包括实体关系提取，嵌套命名实体识别，关系分类，语义角色标注，事件提取，共指消解和对话状态跟踪。使用相同的架构和超参数解决所有任务，甚至可以训练一个模型来同时解决所有任务（多任务学习），该方法在各项任务上可与或优于特定任务的模型，并在一些任务上实现了最新的最好结果。同时还表明，由于更好地利用标签语义，该框架还可以显着提高低资源制约下的性能。

Jan, 2021

本文提出了基于多任务学习框架的神经网络方法，采用循环神经网络来建模具有特定任务和共享层的文本，并在四个基准文本分类任务的实验中显示出该方法可以提高其他相关任务的性能。

May, 2016

该论文旨在研究和探索使用任务和语言之间的相关性来构建需要较少手动注释数据的自然语言处理模型，通过研究 60 种语言的多种 NLP 任务，该论文表明了联合多任务和多语言建模的潜力，并暗示从这些模型中可以获得语言学洞见。

Sep, 2018

多任务学习中，我们提出了一种名为 JTR 的技术，通过利用任务之间的关联性，在单个联合任务的潜在空间中同时调整所有任务的参数，以提升在数据不完全标记的情况下的学习效果。我们在基于 NYU-v2、Cityscapes 和 Taskonomy 的各种部分标记场景中对我们的方法进行了广泛的基准测试来验证其有效性。

Apr, 2024

通过弱监督的方式，我们开发了一个联合多任务 Transformer 架构，用于预测肿瘤学领域的两个关键预测生物标志物：微卫星不稳定性和同源重组缺陷，并通过辅助回归任务相关于肿瘤微环境，对此进行了培训和评估。使用我们的新方法，在外部队列中，相对于接收器操作特性下的最佳结果，对于预测微卫星不稳定性和同源重组缺陷，分别提高了 7.7％和 4.1％，同时通过 8％和 5％的更好嵌入聚类获得了更好的结果。

Mar, 2024