多任务去噪扩散模型可显著提高多任务预测地图的性能，在两种不同的部分标记评估设置下，胜过现有的先进方法。
Mar, 2024
通过学习多步去噪过程生成高度逼真的图像的扩散模型，自然地融合了多任务学习（MTL）的原则。本文提出了 Denoising Task Routing（DTR），它是现有扩散模型体系结构的简单附加策略，通过选择性地激活模型中的通道子集，在单个体系结构中为各个任务建立不同的信息路径。
Oct, 2023
本文提出了一种新颖的方法来减轻负迁移问题，通过任务意识的概念来实现，在检测文本评论中的性别歧视、仇恨言论和有害语言方面取得了最新的技术水平。
Jul, 2023
通过对任务困难度、收敛行为和概率分布间相对熵的变化进行综合观察，我们发现较早的时间步骤的去噪任务存在收敛缓慢和相对熵高的挑战，因此我们提出了一个易难混合的学习方案，借鉴了课程学习的思想，在训练过程中将时间步骤或噪声水平划分为难度递减的簇，并按顺序进行模型训练，以从易到难进行去噪任务，从而改变了同时跨越所有时间步骤训练扩散模型的传统方法。我们的方法通过利用课程学习的好处，提高了性能和收敛速度，并与扩散训练技术的现有改进保持正交性。我们通过在无条件生成、类条件生成和文本转图像生成等图像生成任务上的全面实验证实了这些优势。
本文提出了一种解决多任务学习中负迁移问题的方法 —— 不对所有任务赋予相等的影响，而是根据任务损失和可信度进行加权处理，在两个数据集上的实验表明该方法能够有效减少负迁移，提高多任务学习的鲁棒性。
Dec, 2020
本文提出了一种基于 Transformers 和 prompt 学习的多任务扩散模型 MTDiff，利用扩散模型生成计划和数据合成，实现了跨不同多任务数据之间的隐式知识共享，并在 Meta-World 和 Maze2D 上的 50 个任务和 8 个地图中，达到了比现有算法更好的生成计划效果。
May, 2023
提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。
Dec, 2023
本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形，包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量，在合成和真实任务中进行了实证表明，包括蛋白质骨架和机器人臂运动的约束构象模拟。
Apr, 2023
通过引入 Switch Diffusion Transformer (Switch-DiT) 模型，建立冲突任务之间的相互关系，保留语义信息，同时通过稀疏专家集合在每个转换器块中的参数隔离，实现了改进扩散模型架构的目标。通过实验证实了该方法在提高图像质量和收敛速度方面的有效性，并进一步分析表明 Switch-DiT 模型可以根据不同的生成场景构建定制的降噪路径。
本文提出一种通过代理模型解决多任务学习中子任务选择问题的方法，该方法使用线性回归模型预测未见过的子任务组合的性能表现，利用其提供的子任务与目标任务的相关性分数进行选择，可以更准确地预测负面转移，并显著提高现有多任务学习算法的性能。
Mar, 2023