AAAINov, 2022

AdaTask：一种面向任务的自适应学习率多任务学习方法

PDF
TL;DR本文提出了一种通过计算任务在某个参数上的累积更新量来度量参数在各个任务之间的占用程度的度量标准，并以此为基础提出了一种名为 AdaTask 的任务自适应学习率方法，该方法可以有效平衡多任务学习中共享层中的参数，对计算机视觉和推荐系统 MTL 数据集进行的全面实验表明，AdaTask 显著提高了受到支配的任务的性能，实现了 SOTA 平均任务性能。
multi-task learningtask dominance degreeadatasklearning rateshared layers
发现论文，激发创造
  • AdaMerging：多任务学习的自适应模型融合

    本文介绍了一种创新技术称为自适应模型融合（AdaMerging），该方法通过无监督任务算术方案自动学习模型融合的系数，既可以在任务层面上，也可以在层级层面上，而无需依赖原始训练数据。实验结果表明，与当前最先进的任务算术融合方案相比，AdaMerging 在性能上有显著的 11% 改进，并且在应用于未见过的下游任务时表现出更好的泛化能力，同时还显著提高了对数据分布漂移的鲁棒性。

    Oct, 2023

  • AdaMTL: 面向高效多任务学习的自适应输入依赖推断

    本文介绍了一种自适应框架 AdaMTL，可以降低多任务学习模型的总体计算复杂度和推断延迟，同时提高了准确性和效率，相关代码已公开发布。

    Apr, 2023

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • iTAML: 一种增量式任务无关元学习方法

    本文提出了一种基于元学习的新方法，通过学习一组不针对旧任务也不针对新任务的广义参数来避免深度神经网络的快速衰落问题，并在五个数据集上进行广泛实验，实现了明显的改进

    Mar, 2020

  • 潜在多任务架构学习

    本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

    May, 2017

  • 深度多任务学习和辅助任务学习简述

    本文采用深度多任务学习方法，探究如何选择有用的辅助任务来提高模型性能和泛化能力。

    Jul, 2020

  • 多任务学习中梯度聚合的贝叶斯不确定性

    使用贝叶斯推断的梯度聚合方法能够考虑梯度不确定性，提高多任务学习的性能表现。

    Feb, 2024

  • 公平的多任务学习

    本文提出了一种名为 EMTL 的新型多任务学习优化方法，通过正则化不同任务的相对贡献，在更新共享参数时改善了多任务学习的泛化性能，并通过扩展实验验证了该方法的稳定性和优越性。

    Jun, 2023

  • MetaBalance：通过调整辅助任务的梯度幅度来改善多任务推荐

    本文提出了一种新方法 ——MetaBalance，通过直接操纵多任务网络中共享参数的梯度来平衡辅助任务的损失，以解决多任务学习时存在的优化失衡问题，实验结果表明该方法在两个真实数据集上相对于最强基线提高了 8.34％的 NDCG @ 10。

    Mar, 2022

  • 增强对多任务模型的对抗攻击之动态梯度平衡

    本文研究多任务学习中的单任务机器学习攻击，提出了基于平均相对损失变化的动态梯度平衡攻击方法（DGBA），并在两个流行的多任务学习基准测试库上进行了广泛评估。结果显示参数共享会提高任务准确性，但对提高模型健壮性有贡献。

    May, 2023