Oct, 2019

通过学习参数分配实现灵活的多任务网络

PDF
TL;DR本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。
multi-task learningneural networksparameter sharingfine-grained patternsgumbel-softmax
发现论文，激发创造
  • 一次参数训练，多任务学习与迁移学习

    本文介绍了一种基于小参数集合的深度神经网络迁移学习和多任务学习的新方法，通过调整网络中的特定组件使其适应不同任务，以达到在多个任务中共享参数并且性能表现良好的目的。

    Oct, 2018

  • 多任务神经网络共享与任务特定参数的轮替训练

    该论文介绍了一种用于训练难参数共享的多任务神经网络的新型交替训练程序，该方法通过交替更新共享权重和任务特定权重，利用模型的多头架构，从而降低计算成本，增强训练规范化，并提高泛化性能。实证实验表明，该交替训练程序延迟过拟合，提高了预测准确性，降低了计算需求，对难参数共享的多任务神经网络的训练具有重要意义。

    Dec, 2023

  • 多任务学习的分支学习

    本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

    Jun, 2020

  • 共享超网络的 Transformer 多任务微调的参数高效方法

    本文提出了一种通过使用共享的超网络生成适配器参数来学习所有层和任务的参数高效的多任务学习框架，从而在跨任务共享知识的同时，通过任务特定的适配器使模型适应每个单独的任务，并在已知的 GLUE 基准测试中实现了多任务学习的改进性能。

    Jun, 2021

  • 神经参数分配搜索

    本文提出神经参数分配搜索 (NPAS) 以及 Shapeshifter Networks (SSNs) 算法，通过自动学习神经网络中参数的共享，从而达到内存优化和性能优化的目的。这一方法在多项任务和网络结构中取得良好的效果。

    Jun, 2020

  • 面向任务难度感知的生命周期学习参数分配和正则化

    本文提出了参数分配与正则化 (PAR) 方法，以适应任务的学习难度，从参数分配和正则化中自适应地选择适当的策略，并使用基于最近原型距离的发散估计方法来测量任务相关性，通过时间高效的相关性感知采样搜索策略来减少分配的参数开销，实验结果表明，与 SOTAs 相比，我们的方法可扩展且显著减少了模型的冗余，同时提高了模型的性能，并进一步说明 PAR 获得了合理的任务相关性。

    Apr, 2023

  • AdaShare：学习数据共享策略以提高深度多任务学习效率

    本文提出了一种自适应共享方法 AdaShare，通过任务特定的策略选择性地决定跨哪些任务共享众多的深度神经网络层，从而实现最佳识别准确度和资源效率。实验表明，该方法针对具有多个任务的不同基准数据集具有优异的效果。

    Nov, 2019

  • 多任务优化中任务优先级的量化

    通过连接的强度，基于多任务学习提出了一种基于连接强度的优化方法，包括任务优先级的学习和梯度修改两个阶段，从而在多个任务中找到新的帕累托最优解，大大提升了多任务性能。

    Jun, 2024

  • 为多个任务学习稀疏共享架构

    研究深度多任务学习的参数共享机制，提出了一种自动发现稀疏共享结构的方法，利用子网络对多个任务进行部分重叠并行训练，取得了良好的实验效果。

    Nov, 2019

  • 潜在多任务架构学习

    本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

    May, 2017