多任务学习中学习任务关系的凸形式
本文提出了一种基于特征层次的多任务学习模型,实现了对任务关系的探索,并对合成数据和真实世界数据进行了实验验证,结果表明该模型的准确性在各种任务关系程度下表现最佳,具有较高的应用价值。
Jun, 2012
本文提出了一种基于参数服务器的分布式多任务学习框架,通过提供正则化多任务关系学习方法的对偶形式和一个通信有效的原始对偶分布式优化算法来同时学习每个任务的预测模型和任务之间的关系,以及提供针对分布式多任务关系学习的理论收敛分析。
Dec, 2016
本文针对多任务学习问题,提出一种学习任务和输入特征之间关系的联合预测方法,通过优化任务协方差和特征协方差矩阵,提出了一种高效的坐标轮流最小化算法,实验结果表明该方法比同类方法快得多,同时提供了一种非线性扩展方法,其泛化能力比现有方法更好。
Feb, 2017
本文提出了一种新的谱范数方法,用于多任务学习,假设任务被分成不同的群组,每个群组具有相似的权重向量,并演示其在合成数据及 IEDB MHC-I 结合数据集上的优秀表现。
Sep, 2008
本文提出了一种新型 MTL 模型,通过交替极小化算法解决任务关系结构和任务参数的联合估计问题,应用于回归和分类问题,结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中,该模型展现出了显著的表现优势。
Sep, 2014
本文提出一种基于结构预测的新算法,用于学习多个相关的任务,这些任务通过一系列非线性方程相互关联,并改善预测性能。实验结果表明该算法具有潜在的应用价值。
May, 2017
本文介绍了一种名为 Selective Sharing 的方法,通过在模型训练过程中学习辅助潜在特征,从而自动将任务分组并允许它们相互共享知识,旨在解决多媒体应用常常需要同时处理多个任务,但这些任务关系复杂,领域专家知识不足的问题。在分类、回归和排名任务的 5 个数据集上进行实验,与强基线和最先进的方法进行比较表明,在准确性和参数计数方面始终有所改善。此外,作者还进行了激活区域分析,展示了 Selective Sharing 如何影响所学的表示。
Apr, 2019
多任务学习通过在不同层次共享信息来同时学习多个任务,提高各个单独任务的性能。该研究探索了输出层面任务相关性,并通过将一个任务的输出作为另一个任务的隐藏特征引入后验信息,将静态多任务学习模型转变为动态模型。通过引入收敛性损失来确保训练过程的收敛,并提出了 Gumbel 门控机制来确定反馈信号的最佳投影。通过在口语理解的几个基线模型上进行实验证实了我们方法的有效性和性能评估。
Apr, 2024