本文评估了九种任务加权策略，提出了一种结合进化元学习和基于任务的选择反向传播的新方法，用于计算任务权重以实现可靠网络训练，改进了现有方法的性能。

Jan, 2020

本文提出了一种可控的多任务网络，该网络根据用户所需的任务偏好和资源限制以动态方式调整其架构和权重，并通过利用任务亲和性和一种新的分支规则化损失来训练两个超级网络以预测适应权重的树状模型。

Mar, 2022

Graph self-supervised learning can be improved by leveraging multiple pretext tasks through the AutoSSL framework, which uses homophily as guidance and significantly boosts the performance on downstream tasks.

Jun, 2021

将各种在不同任务上训练的基于 Transformer 的专用模型合并为一个统一的模型，可以同时执行所有任务，通过识别并分离共享知识和任务特定知识，并动态地集成它们，可以在很大程度上减轻参数干扰问题。

Feb, 2024

本文研究分布偏移问题下，重要性加权在复杂数据上无法良好运作的原因，并提出了一种基于动态重要性加权的端到端解决方案。实验表明，该方法能够与现有最先进的方法相媲美。

Jun, 2020

文章提出了一种基于任务前缀引导的多任务预训练框架，通过任务感知的注释数据作为监督信号，以帮助大规模无标签数据的自我监督学习，并利用它来探索任务之间的关系，并在 40 个数据集上进行了实验，在通用常识推理排行榜上实现了人类水平的结果。

Oct, 2022

FewFedWeight 是跨多个任务的 few-shot 联邦学习框架，通过在隔离设备上训练客户端模型，广播全局模型并为客户端生成伪数据，同时使用能量算法对伪样本进行加权，动态聚合客户端模型的自适应模型权重更新全局模型，可显著提高客户端模型的性能。

Dec, 2022

最新研究表明，在两个专门的语言模型的权重之间进行插值可以以多任务学习无法实现的方式在任务之间转移知识。然而，极少有人探索过在两个以上模型之间进行插值，每个模型具有不同的知识库。本文介绍了一种称为 DFWE（Derivative Free Weight-space Ensembling）的新的基于少样本的任务迁移方法，用于开放领域对话。我们的框架使用预定义的源任务集创建了一组多样的专家语言模型。然后，我们在目标任务上对每个专家模型进行微调，从多个不同的知识库中处理目标任务。最后，我们使用无梯度优化算法在模型权重之间进行线性插值，以有效地找到一个好的插值权重。我们在 FETA-Friends 上展示了该方法的有效性，其优于标准的预训练 - 微调方法。

Jul, 2023

本论文研究了与图表示学习相关的两个基本任务：链接预测和节点分类，并提出了一种新的自编码器架构，能够学习本地图结构和可用节点特征的联合表示，用于同时进行无监督链接预测和半监督节点分类的多任务学习。

Nov, 2018

我们提出了一种名为 Unified Pretraining for Recommendation via Task Hypergraphs 的新型多任务预训练框架，通过任务超图将预训练任务广泛应用于推荐系统中，设计了一种新颖的过渡关注层来区分性地学习每个预训练任务和推荐之间的相关性，并通过实验结果验证了 UPRTH 的优越性，并进行了进一步的详细研究来证明该框架的有效性。

Oct, 2023