Nov, 2019

AdaShare：学习数据共享策略以提高深度多任务学习效率

PDF
TL;DR本文提出了一种自适应共享方法 AdaShare，通过任务特定的策略选择性地决定跨哪些任务共享众多的深度神经网络层，从而实现最佳识别准确度和资源效率。实验表明，该方法针对具有多个任务的不同基准数据集具有优异的效果。
multi-task learningdeep neural networksadashareresource efficiencytask-specific policy
发现论文，激发创造
  • 多任务网络中的全自适应特征共享及其在个人属性分类中的应用

    本文提出了一种以紧凑的多任务深度学习架构为设计目标的方法，使用一种推动类似任务聚集的新标准在训练期间贪心地扩大网络，以优化多任务学习的泛化性能并在人员属性分类任务中取得最先进的精度。

    Nov, 2016

  • 共享内存的深度多任务学习

    本研究提出了两种深度神经网络结构， 加入外部记忆共享于多个任务中训练，实验表明该结构帮助相关任务，提高文本分类任务效果。

    Sep, 2016

  • 分支式多任务网络：决定共享哪些层

    本文提出了一种自动构建分支式多任务网络的方法，通过利用任务的亲和性，在特定预算（可学习参数的数量）内生成架构，在给定预算的情况下，我们的方法始终产生性能最高的网络，而在某些性能阈值下，只需要最少的可学习参数。

    Apr, 2019

  • 多任务学习的分支学习

    本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

    Jun, 2020

  • 为多个任务学习稀疏共享架构

    研究深度多任务学习的参数共享机制，提出了一种自动发现稀疏共享结构的方法，利用子网络对多个任务进行部分重叠并行训练，取得了良好的实验效果。

    Nov, 2019

  • PaRT：面向鲁棒和透明人工智能的并行学习

    本文将深度学习网络并行训练于多项任务，实现多任务互相共享网络资源，从而达到优化网络资源利用率、防止遗忘、提高网络透明度，同时实现机器学习的鲁棒性。

    Jan, 2022

  • 多任务深度强化学习中的知识共享

    我们研究了在多任务强化学习中共享表示的益处，以实现深度神经网络的有效使用。我们利用从不同任务中学习、分享共同特性的假设，有助于推广知识，从而比学习单个任务更有效地进行特征提取。通过在广泛使用的强化学习基准上进行实证评估，我们提出了三种强化学习算法的多任务扩展，并证明了在样本效率和性能方面相较于单任务具有显著改进。

    Jan, 2024

  • 为多个自然语言处理任务探索共享结构和层级

    通过强化学习控制器自动优化神经架构，实现多任务学习中的共享，能够提高文本分类和序列标注等多种任务的精度。

    Aug, 2018

  • 通过学习参数分配实现灵活的多任务网络

    本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。

    Oct, 2019

  • 注意力多任务深度强化学习

    本文提出了一种基于注意力机制的多任务深度强化学习方法，该方法可以自动将任务知识分组，并在可能的情况下实现积极的知识转移，避免任务干扰，并表现出可比较或优越的性能。

    Jul, 2019