自动化多任务机器学习中的任务分组通过任务关联性预测

Oct, 2023

自动化多任务机器学习中的任务分组通过任务关联性预测

Task Grouping for Automated Multi-Task Machine Learning via Task Affinity Prediction

Afiya Ayman, Ayan Mukhopadhyay, Aron Laszka

TL;DR我们提出了一个基于预测器驱动的搜索方法，用于任务分组，旨在最小化多任务学习的训练次数，并展示了相较于现有基准方法，我们的方法在四个基准数据集上可以找到更好的任务分组。

Abstract

When a number of similar tasks have to be learned simultaneously, multi-task learning (MTL) models can attain significantly higher accuracy than single-task learning (STL) models. However, the advantage of MTL depends on various factors, such as the similarity of the tasks, the sizes of the datasets, and so on; in fact, some tasks might not benefit from MTL

multi-task learning single-task learning task grouping neural network-based mtl models predictor-driven search approach

发现论文，激发创造

匹配成功！” -- 用于联合学习任务亲和力分数的基准测试

该研究旨在解决联合学习中任务相似度评估的问题，通过提出一组相似度评分并基于 Taskonomy 数据集对其进行基准测试，揭示出不同指标对多任务学习性能的指示作用并未得到很好的相关性

Jan, 2023

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

多任务学习调查

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

STG-MTL: 使用数据映射的多任务学习可扩展的任务分组

提出了一种基于手工特征（Data Maps）的新的数据驱动方法，用于解决多任务学习中的任务分组、负干扰和可扩展性等挑战。通过实验证明了该方法的有效性，即使在大量任务（最多 100 个任务）下也能取得显著的效果。

Jul, 2023

灵活任务聚类的凸多任务学习

本文提出了一种基于特征层次的多任务学习模型，实现了对任务关系的探索，并对合成数据和真实世界数据进行了实验验证，结果表明该模型的准确性在各种任务关系程度下表现最佳，具有较高的应用价值。

Jun, 2012

序列标注的多任务学习：实证研究

通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

Aug, 2018

面向多任务学习的原则性任务分组

本研究提出一种新方法来进行多任务学习中的任务分组，弥补了现有方法的关键理论和实践限制。与以前的研究不同，我们的方法提供了一个更具理论基础的方法，不依赖于构建转移增益的限制性假设。同时，我们还提出了一种灵活的数学规划方法，可以适应广泛的资源约束，从而增强了其多样性。在计算机视觉数据集、组合优化基准和时间序列任务等多个领域的实验结果表明，我们的方法优于广泛的基线方法，验证了其在多任务学习中的有效性和普适性。

Feb, 2024

多任务学习中的分布匹配：在人脸及其他任务上的大规模研究

挑战现有多任务学习 (MTL) 框架，提出新方法通过分布匹配实现任务间的知识交流，证明少量注释或非重叠注释情况下的 MTL 仍能成功，且在各个领域的案例研究中均带来了较大的性能提升。

Jan, 2024

异质多任务学习的分布匹配：一项大规模人脸研究

本文提出了一种基于分布匹配的方法，将多个任务进行弱监督的共同训练，建立了第一个全面学习面部行为的框架 FaceBehaviorNet，并利用该框架进行了零 / 少样本学习，实现了好于现有方法的效果。

May, 2021

密集预测任务的多任务学习：综述

本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展，主要关注密集预测任务，从网络架构和优化方法两个角度进行了阐述和总结，旨在探讨多任务共享表示学习的优势和局限性。

Apr, 2020