NIPSJun, 2015

使用多线性关系网络学习多个任务

PDF
TL;DR本文提出了基于张量正则先验的多线性关系网络 (Multilinear Relationship Networks, MRN)，通过同时学习可转移的特征和任务和特征的多线性关系，发现了深度卷积网络中多个任务特定层参数张量上的任务关系，并解决了特征层中负迁移和分类器层下迁移的困境，实验证明 MRN 在三个多任务学习数据集上的效果优于现有方法。
发现论文，激发创造
  • 基于双层 ReLU 神经网络的可证明多任务表示学习

    通过简单的梯度下降学习算法，在二层 ReLU 神经网络中进行多任务学习，可证明在多任务学习中也发生了特征学习。

    Jul, 2023

  • 具有非线性输出关系的一致多任务学习

    本文提出一种基于结构预测的新算法，用于学习多个相关的任务，这些任务通过一系列非线性方程相互关联，并改善预测性能。实验结果表明该算法具有潜在的应用价值。

    May, 2017

  • 分布式多任务关系学习

    本文提出了一种基于参数服务器的分布式多任务学习框架，通过提供正则化多任务关系学习方法的对偶形式和一个通信有效的原始对偶分布式优化算法来同时学习每个任务的预测模型和任务之间的关系，以及提供针对分布式多任务关系学习的理论收敛分析。

    Dec, 2016

  • 高效的多任务特征和关系学习

    本文针对多任务学习问题，提出一种学习任务和输入特征之间关系的联合预测方法，通过优化任务协方差和特征协方差矩阵，提出了一种高效的坐标轮流最小化算法，实验结果表明该方法比同类方法快得多，同时提供了一种非线性扩展方法，其泛化能力比现有方法更好。

    Feb, 2017

  • 基于深度协同学习的多任务学习及其在面部关键点检测中的应用

    本文提出利用多任务学习中的软参数共享机制，在卷积神经网络中加入侧向转换块，并使用跳接连接的方式提取各深度的任务特定特征，从而在面部关键点检测等相关任务中取得更好的精度和深度特定影响的知识共享效果。

    Oct, 2017

  • 多任务学习中学习任务关系的凸形式

    提出了一种正则化公式，用于在多任务学习中学习任务之间的关系，可以对正相关、负相关和异常任务进行建模，在对称和非对称多任务学习设置下，使用交替优化算法， 对模型参数和任务之间的关系进行优化。实验结果表明这种方法的有效性。

    Mar, 2012

  • 特征分解减少负迁移：一种适用于推荐系统的新型多任务学习方法

    本文针对深度学习下的多任务学习在推荐系统中受到负面影响的问题，通过提出特征分解网络 (FDN) 的方法，将特征显式分解为任务特定和任务共享特征以减少特征冗余，实验结果证明其在效果上优于现有方法。

    Feb, 2023

  • 基于多任务学习的文本分类循环神经网络

    本文提出了基于多任务学习框架的神经网络方法，采用循环神经网络来建模具有特定任务和共享层的文本，并在四个基准文本分类任务的实验中显示出该方法可以提高其他相关任务的性能。

    May, 2016

  • 多任务学习中图像任务相关性的学习

    本文介绍了一种名为 Selective Sharing 的方法，通过在模型训练过程中学习辅助潜在特征，从而自动将任务分组并允许它们相互共享知识，旨在解决多媒体应用常常需要同时处理多个任务，但这些任务关系复杂，领域专家知识不足的问题。在分类、回归和排名任务的 5 个数据集上进行实验，与强基线和最先进的方法进行比较表明，在准确性和参数计数方面始终有所改善。此外，作者还进行了激活区域分析，展示了 Selective Sharing 如何影响所学的表示。

    Apr, 2019

  • 关系多任务学习：建模数据和任务之间的关系

    本文提出了一种创新的关系多任务学习框架 MetaLink，通过建立连接数据点和任务的知识图谱，利用来自辅助任务的数据点标签预测新任务中的结果，可以在不同领域的 6 个基准数据集上成功地利用不同任务之间的关系，在提出的关系多任务学习设置下，可以优于现有方法，ROC AUC 性能提高了高达 27%。

    Mar, 2023