多任务及其结构的凸学习

Apr, 2015

Convex Learning of Multiple Tasks and their Structure

Carlo Ciliberto, Youssef Mroueh, Tomaso Poggio, Lorenzo Rosasco

TL;DR通过将任务的结构编码为凸惩罚公式，实现了多任务学习方法，并提出了线性和非线性方法，最终采用基于块协调方法的方式解决了全局最小值的问题。

Abstract

Reducing the amount of human supervision is a key problem in machine learning and a natural approach is that of exploiting the relations (structure) among different tasks. This is the idea at the core of multi-task learning. In this context a fundamental question is how to incorporate

multi-task learning convex penalty tasks structure block coordinate methods global minimum

发现论文，激发创造

聚类多任务学习：一个凸形式

本文提出了一种新的谱范数方法，用于多任务学习，假设任务被分成不同的群组，每个群组具有相似的权重向量，并演示其在合成数据及 IEDB MHC-I 结合数据集上的优秀表现。

Sep, 2008

多任务学习中学习任务关系的凸形式

提出了一种正则化公式，用于在多任务学习中学习任务之间的关系，可以对正相关、负相关和异常任务进行建模，在对称和非对称多任务学习设置下，使用交替优化算法，对模型参数和任务之间的关系进行优化。实验结果表明这种方法的有效性。

Mar, 2012

具有非线性输出关系的一致多任务学习

本文提出一种基于结构预测的新算法，用于学习多个相关的任务，这些任务通过一系列非线性方程相互关联，并改善预测性能。实验结果表明该算法具有潜在的应用价值。

May, 2017

具有先验信息的多任务学习

本文提出了一个利用任务间关系先验知识、通过对共享特征赋予类似系数惩罚、以及通过组稀疏方法捕获公共特征的多任务学习框架，将其定义为一个非光滑凸优化问题，在真实世界数据集的回归和分类任务上实验证明该算法可以提高多个相关任务的泛化性能。

Jan, 2023

灵活任务聚类的凸多任务学习

本文提出了一种基于特征层次的多任务学习模型，实现了对任务关系的探索，并对合成数据和真实世界数据进行了实验验证，结果表明该模型的准确性在各种任务关系程度下表现最佳，具有较高的应用价值。

Jun, 2012

多任务学习中潜在任务结构的灵活建模

使用柔性的、非参数的贝叶斯模型在多任务学习中建立混合的因子分析器结构，以解决什么样的隐含任务结构最适合于一个给定的多任务学习问题通常不清楚的问题，并给出了变分推断算法用于这个模型。

Jun, 2012

利用收敛行为平衡多任务学习中的矛盾任务

采用多目标优化的方法，考虑梯度的时间行为，创建一个动态偏差，利用多任务学习的相关性来提高性能和泛化性能，并确保所有任务达到良好的泛化性能。

Apr, 2022

多任务学习的多目标优化

本论文将多任务学习作为多目标优化来解决，并提出了一种基于梯度下降优化算法的上限边界，证明了在现实情况下优化这个上限边界将得到帕累托最优解，在多任务深度学习问题上应用我们的方法表现出比最近的多任务学习公式或每项任务训练的模型更高的性能。

Oct, 2018

多任务学习与多任务优化

本文提出了一种多目标优化的多任务学习方法，通过迭代传递模型参数在优化过程中解决存在冲突的多个任务，并在图像分类、场景理解和多目标回归问题中进行了实验验证，结果显示该方法显著提升了发现满足 Pareto 优化的模型集合的状态，尤其在大规模图像数据集上的实验中，比现有技术取得了近两倍的超体积收敛速度。

Mar, 2024

多任务稀疏结构学习

本文提出了一种新型 MTL 模型，通过交替极小化算法解决任务关系结构和任务参数的联合估计问题，应用于回归和分类问题，结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中，该模型展现出了显著的表现优势。

Sep, 2014