DMTG:一次可微分的多任务分组
这篇文章提出了一种基于概率方法的卷积神经网络多任务学习的机制,采用“随机过滤器组”(SFG) 来确定不同任务之间卷积核的连接性并学习可能的卷积核分组和网络参数的后验分布,实验表明该方法在多任务学习上具有泛化能力和优越性能。
Aug, 2019
本文介绍了一种新架构MTI-Net,它能够显式地模拟每个尺度的任务交互,并通过特征传播模块将提炼的任务信息从较低尺度传播到较高尺度,并通过特征聚合单元汇总所有尺度的任务特征以产生最终的任务预测。该架构通过两个多任务密集标记数据集上的广泛实验证明,相比以前的工作,我们的多任务模型实现了多任务学习的全部潜力,即较小的内存占用,减少计算次数,并与单任务学习相比表现更好。
Jan, 2020
本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展,主要关注密集预测任务,从网络架构和优化方法两个角度进行了阐述和总结,旨在探讨多任务共享表示学习的优势和局限性。
Apr, 2020
提出ATG聚类方法,定义训练和测试任务集,使其共享预定义量的信息以分析和理解few-shot分类方法,并在生成的任务集中展示其有效性和相对于基准任务集的优越性。最后,揭示在迁移最具挑战性时,基于梯度的方法可以超越基于度量的方法。
Apr, 2021
该研究提出了Mod-Squad模型,使用模块化结构将组内的专家与任务相匹配,并在训练过程中优化匹配过程以对抗多任务学习的挑战。实验表明本方法在任务数量和训练集规模扩大时表现强于其他方法。
Dec, 2022
提出了一种基于手工特征(Data Maps)的新的数据驱动方法,用于解决多任务学习中的任务分组、负干扰和可扩展性等挑战。通过实验证明了该方法的有效性,即使在大量任务(最多100个任务)下也能取得显著的效果。
Jul, 2023
将结构组稀疏性引入共享参数的多任务学习框架中,通过在共享层中使用通道级别的l1/l2组稀疏性,以开发出能够有效处理多个任务的简化模型,其参数更少且性能可与密集模型相媲美或更优。
Aug, 2023
我们提出了一个基于预测器驱动的搜索方法,用于任务分组,旨在最小化多任务学习的训练次数,并展示了相较于现有基准方法,我们的方法在四个基准数据集上可以找到更好的任务分组。
Oct, 2023
为了创建能为多样用户提供服务的机器学习系统,需要不仅实现高的平均性能,还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力,并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明,我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。
Dec, 2023
本研究提出一种新方法来进行多任务学习中的任务分组,弥补了现有方法的关键理论和实践限制。与以前的研究不同,我们的方法提供了一个更具理论基础的方法,不依赖于构建转移增益的限制性假设。同时,我们还提出了一种灵活的数学规划方法,可以适应广泛的资源约束,从而增强了其多样性。在计算机视觉数据集、组合优化基准和时间序列任务等多个领域的实验结果表明,我们的方法优于广泛的基线方法,验证了其在多任务学习中的有效性和普适性。
Feb, 2024