Dec, 2014

多任务的课程学习

PDF
TL;DR本文提出了一种处理多个任务的顺序学习方法，通过仅在相关性较高的任务之间共享信息，其基于广义绑定准则的任务顺序决策能够优化任务分类绩效并自动发现任务最佳顺序。实验结果表明，顺序学习比同时学习更加有效，任务完成顺序重要并具有指引意义。
multi-task learninginformation sharingcurriculum learningsequence processinggeneralization bound criterion
发现论文，激发创造
  • 利用收敛行为平衡多任务学习中的矛盾任务

    采用多目标优化的方法，考虑梯度的时间行为，创建一个动态偏差，利用多任务学习的相关性来提高性能和泛化性能，并确保所有任务达到良好的泛化性能。

    Apr, 2022

  • 多任务学习中的任务分组与重叠学习

    提出一种基于稀疏系数和低维子空间的多任务学习框架，能够选择性地在相关任务间共享信息，实验结果显示该方法优于竞争方法。

    Jun, 2012

  • 分布式多任务关系学习

    本文提出了一种基于参数服务器的分布式多任务学习框架，通过提供正则化多任务关系学习方法的对偶形式和一个通信有效的原始对偶分布式优化算法来同时学习每个任务的预测模型和任务之间的关系，以及提供针对分布式多任务关系学习的理论收敛分析。

    Dec, 2016

  • 多任务学习中信息传输的理解与改善

    本文研究了多任务学习的方法，使用共享特征表示所有任务，并研究了线性和 ReLU 激活模型的理论。通过实验证明了任务数据的对齐有助于多任务训练和转移学习，特别地，我们的对齐方法比 BERT-LARGE 在 5 个 GLUE 任务上平均提高了 2.35％的得分，并设计了基于 SVD 的任务重新加权方案来提高多任务训练在多标签图像数据集上的鲁棒性。

    May, 2020

  • 具有先验信息的多任务学习

    本文提出了一个利用任务间关系先验知识、通过对共享特征赋予类似系数惩罚、以及通过组稀疏方法捕获公共特征的多任务学习框架，将其定义为一个非光滑凸优化问题，在真实世界数据集的回归和分类任务上实验证明该算法可以提高多个相关任务的泛化性能。

    Jan, 2023

  • 多任务学习中转移的测量与利用

    本文分析了多任务学习的信息传递动态，并开发了可量化任务间信息转移的相似度度量方法，从而使得我们在宏观和微观层面上提出了两种方法来优化多任务学习性能，这些方法在三个监督式多任务学习基准和一个多任务强化学习范式上都有显著改进。

    Oct, 2020

  • 多任务学习中图像任务相关性的学习

    本文介绍了一种名为 Selective Sharing 的方法，通过在模型训练过程中学习辅助潜在特征，从而自动将任务分组并允许它们相互共享知识，旨在解决多媒体应用常常需要同时处理多个任务，但这些任务关系复杂，领域专家知识不足的问题。在分类、回归和排名任务的 5 个数据集上进行实验，与强基线和最先进的方法进行比较表明，在准确性和参数计数方面始终有所改善。此外，作者还进行了激活区域分析，展示了 Selective Sharing 如何影响所学的表示。

    Apr, 2019

  • 基于图的多任务学习：一种分布式、流式机器学习方法

    本文是多任务学习的一篇综述，主要介绍了在分布式数据和网络系统上学习多个相关任务的新策略以及合作规则如何促进不同任务相关性模型，同时也解释了如何和何时合作的方式比非合作的策略更有效。

    Jan, 2020

  • 多任务学习的多目标优化

    本论文将多任务学习作为多目标优化来解决，并提出了一种基于梯度下降优化算法的上限边界，证明了在现实情况下优化这个上限边界将得到帕累托最优解，在多任务深度学习问题上应用我们的方法表现出比最近的多任务学习公式或每项任务训练的模型更高的性能。

    Oct, 2018

  • 多任务学习的分支学习

    本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

    Jun, 2020