利用辅助大任务学习具有不一致标签的多项任务

Jan, 2022

利用辅助大任务学习具有不一致标签的多项任务

Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big Task

Quan Feng, Songcan Chen

TL;DR该研究提出了一种框架，通过联合利用来自具有足够多类别的大型辅助任务和这些任务之间共享的信息，来学习在训练样本有限、标签集仅部分重叠或甚至没有的多任务。其关键思想是利用可用的标签信息，自适应地修剪辅助网络的隐藏层神经元，构建每个任务的相应网络，并伴随着个别任务的联合学习。实验结果表明，该方法比最先进的方法更加有效。

Abstract

multi-task learning is to improve the performance of the model by transferring and exploiting common knowledge among tasks. Existing MTL works mainly focus on the scenario where label sets among multiple tasks (MTs) are usually the same, thus they can be utilized for learning across th

multi-task learning overlapping label sets neural network joint learning task adaptation

发现论文，激发创造

深度多任务学习和辅助任务学习简述

本文采用深度多任务学习方法，探究如何选择有用的辅助任务来提高模型性能和泛化能力。

Jul, 2020

多任务学习中的分布匹配：在人脸及其他任务上的大规模研究

挑战现有多任务学习 (MTL) 框架，提出新方法通过分布匹配实现任务间的知识交流，证明少量注释或非重叠注释情况下的 MTL 仍能成功，且在各个领域的案例研究中均带来了较大的性能提升。

Jan, 2024

深度神经网络的多任务学习：一项调查

本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

Sep, 2020

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

隐式微分辅助学习

本文提出了一种基于隐式微分的新框架 AuxiLearn，针对多任务学习中设计有用的辅助任务和将辅助任务组合成一个连贯的损失函数的挑战，当已知有用的辅助任务时，可以学习一个网络将所有损失合并成一个连贯的目标函数，并且能够学习任务之间的非线性交互；当不知道有用的辅助任务时，可以学习一个生成有意义的新辅助任务的网络。在图像分割和低数据情况下学习属性等多个任务和领域中，AuxiLearn 均表现出比竞争方法更为出色的性能。

Jun, 2020

多任务学习调查

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

跨越多任务学习和元学习：迈向高效训练和有效适应

本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

Jun, 2021

潜在多任务架构学习

本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

May, 2017

异质多任务学习的分布匹配：一项大规模人脸研究

本文提出了一种基于分布匹配的方法，将多个任务进行弱监督的共同训练，建立了第一个全面学习面部行为的框架 FaceBehaviorNet，并利用该框架进行了零 / 少样本学习，实现了好于现有方法的效果。

May, 2021

视觉场景理解的多任务学习

研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

Mar, 2022