May, 2023

DynaShare：基於任務和實例條件的參數共享用於多任務學習

PDF
TL;DR本文提出了一种新颖的多任务学习参数共享方法，它在推理时间上联合任务和中间特征表示来调节参数共享。与传统的参数共享方法不同，我们的方法利用任务和输入实例动态决定哪些网络部分被激活。该方法学习一个分层门控策略，包括粗层选择的任务特定策略和个体输入实例的门控单元，它们一起确定推理时间上的执行路径。在 NYU v2、Cityscapes 和 MIMIC-III 数据集上的实验验证了该方法的潜力和其适用性跨问题领域。
发现论文，激发创造
  • 为多个任务学习稀疏共享架构

    研究深度多任务学习的参数共享机制，提出了一种自动发现稀疏共享结构的方法，利用子网络对多个任务进行部分重叠并行训练，取得了良好的实验效果。

    Nov, 2019

  • 通过学习参数分配实现灵活的多任务网络

    本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。

    Oct, 2019

  • AdaShare：学习数据共享策略以提高深度多任务学习效率

    本文提出了一种自适应共享方法 AdaShare，通过任务特定的策略选择性地决定跨哪些任务共享众多的深度神经网络层，从而实现最佳识别准确度和资源效率。实验表明，该方法针对具有多个任务的不同基准数据集具有优异的效果。

    Nov, 2019

  • 多智能体强化学习的自适应参数共享

    我们提出了一种新颖的参数共享方法，通过将每种类型的代理映射到共享网络中的不同区域，基于它们的身份，形成不同的子网络，从而增加了不同代理之间的策略多样性，而不引入额外的训练参数，通过在多个环境中进行的实验证明，我们的方法表现优于其他参数共享方法。

    Dec, 2023

  • 共享超网络的 Transformer 多任务微调的参数高效方法

    本文提出了一种通过使用共享的超网络生成适配器参数来学习所有层和任务的参数高效的多任务学习框架，从而在跨任务共享知识的同时，通过任务特定的适配器使模型适应每个单独的任务，并在已知的 GLUE 基准测试中实现了多任务学习的改进性能。

    Jun, 2021

  • 多任务网络中的全自适应特征共享及其在个人属性分类中的应用

    本文提出了一种以紧凑的多任务深度学习架构为设计目标的方法，使用一种推动类似任务聚集的新标准在训练期间贪心地扩大网络，以优化多任务学习的泛化性能并在人员属性分类任务中取得最先进的精度。

    Nov, 2016

  • 多任务学习的任务自适应参数共享

    为了在多任务学习中最小化资源使用和任务之间的竞争，本文提出了一种名为 TAPS 的方法，其通过自适应修改小的任务特定层子集来将基本模型调整到新任务中。与其他方法相比，TAPS 在保持高精度同时引入很少的任务特定参数方面表现优异。

    Mar, 2022

  • 多任务学习的分支学习

    本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

    Jun, 2020

  • InterroGate: 学习共享、专精和修剪多任务学习的表示

    本研究提出了一种名为 InterroGate 的新型多任务学习架构，用于减轻任务干扰并优化推理计算效率。通过可学习的门控机制自动平衡共享和任务特定的表示，同时保持所有任务的性能。在广泛的实证评估中，我们使用卷积和基于 transformer 的骨干网络，在 CelebA、NYUD-v2 和 PASCAL-Context 上展示了最先进的多任务学习结果。

    Feb, 2024

  • 利用表示相似性引导的多任务特征共享来抑制任务干扰

    本研究提出一种渐进式解码融合（PDF）方法，通过基于任务表示相似性逐步结合任务解码器，缓解任务干扰，同时利用解码器共享的归纳偏差，提高多任务网络的泛化能力和对抗攻击鲁棒性。

    Aug, 2022