Apr, 2024

多任务学习中使用反馈机制建模输出层任务相关性

PDF
TL;DR多任务学习通过在不同层次共享信息来同时学习多个任务，提高各个单独任务的性能。该研究探索了输出层面任务相关性，并通过将一个任务的输出作为另一个任务的隐藏特征引入后验信息，将静态多任务学习模型转变为动态模型。通过引入收敛性损失来确保训练过程的收敛，并提出了 Gumbel 门控机制来确定反馈信号的最佳投影。通过在口语理解的几个基线模型上进行实验证实了我们方法的有效性和性能评估。
multi-task learningoutput-level task relatednessfeedback mechanismconvergence lossgumbel gating mechanism
发现论文，激发创造
  • 多任务学习调查

    本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

    Jul, 2017

  • 多任务学习中图像任务相关性的学习

    本文介绍了一种名为 Selective Sharing 的方法，通过在模型训练过程中学习辅助潜在特征，从而自动将任务分组并允许它们相互共享知识，旨在解决多媒体应用常常需要同时处理多个任务，但这些任务关系复杂，领域专家知识不足的问题。在分类、回归和排名任务的 5 个数据集上进行实验，与强基线和最先进的方法进行比较表明，在准确性和参数计数方面始终有所改善。此外，作者还进行了激活区域分析，展示了 Selective Sharing 如何影响所学的表示。

    Apr, 2019

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 多任务学习与部分监督的结合：计算机视觉综述

    多任务学习通过使用共享资源同时计算多个输出，具有比传统方法更低的内存需求和推理时间，本综述主要研究多任务学习如何在不同的部分监督设置下应用以解决相关挑战。

    Jul, 2023

  • 异质多任务学习的分布匹配：一项大规模人脸研究

    本文提出了一种基于分布匹配的方法，将多个任务进行弱监督的共同训练，建立了第一个全面学习面部行为的框架 FaceBehaviorNet，并利用该框架进行了零 / 少样本学习，实现了好于现有方法的效果。

    May, 2021

  • 灵活任务聚类的凸多任务学习

    本文提出了一种基于特征层次的多任务学习模型，实现了对任务关系的探索，并对合成数据和真实世界数据进行了实验验证，结果表明该模型的准确性在各种任务关系程度下表现最佳，具有较高的应用价值。

    Jun, 2012

  • 可控的帕累托多任务学习

    本文提出了一种新颖的可控 Pareto 多任务学习框架，用于实现多个任务之间的实时权衡控制，其中超网络生成与偏好条件相关的模型参数，以实现基于不同权衡偏好的模型性能实时控制。

    Oct, 2020

  • 多任务稀疏结构学习

    本文提出了一种新型 MTL 模型，通过交替极小化算法解决任务关系结构和任务参数的联合估计问题，应用于回归和分类问题，结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中，该模型展现出了显著的表现优势。

    Sep, 2014

  • 潜在多任务架构学习

    本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

    May, 2017