通过强化学习控制器自动优化神经架构,实现多任务学习中的共享,能够提高文本分类和序列标注等多种任务的精度。
Aug, 2018
本文提出了一种自适应共享方法 AdaShare,通过任务特定的策略选择性地决定跨哪些任务共享众多的深度神经网络层,从而实现最佳识别准确度和资源效率。实验表明,该方法针对具有多个任务的不同基准数据集具有优异的效果。
Nov, 2019
本文提出了一种自动构建分支式多任务网络的方法,通过利用任务的亲和性,在特定预算(可学习参数的数量)内生成架构,在给定预算的情况下,我们的方法始终产生性能最高的网络,而在某些性能阈值下,只需要最少的可学习参数。
Apr, 2019
本研究提出了两种深度神经网络结构, 加入外部记忆共享于多个任务中训练,实验表明该结构帮助相关任务,提高文本分类任务效果。
Sep, 2016
本文提出了一种基于潜在多任务体系结构的方法,该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中,比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀,可以实现高达 15% 的平均误差降低率。
May, 2017
本文提出了一种以紧凑的多任务深度学习架构为设计目标的方法,使用一种推动类似任务聚集的新标准在训练期间贪心地扩大网络,以优化多任务学习的泛化性能并在人员属性分类任务中取得最先进的精度。
Nov, 2016
本文提出了一种新颖的多任务学习方法,其中借助了多任务神经网络的参数共享,通过学习精细的参数共享模式来提高模型性能,该模式通过二进制变量实现,与模型参数共同反向传播学习,并在 Omniglot 基准测试中实现了 17%相对误差减小。
Oct, 2019
提出一种基于稀疏系数和低维子空间的多任务学习框架,能够选择性地在相关任务间共享信息,实验结果显示该方法优于竞争方法。
Jun, 2012
本论文提出了一种自动的多任务学习算法,通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程,实现了可微网络分裂与优化,实现了多任务网络的有效设计。
Jun, 2020
将结构组稀疏性引入共享参数的多任务学习框架中,通过在共享层中使用通道级别的 l1/l2 组稀疏性,以开发出能够有效处理多个任务的简化模型,其参数更少且性能可与密集模型相媲美或更优。
Aug, 2023