CVPRApr, 2023

面向任务难度感知的生命周期学习参数分配和正则化

PDF
TL;DR本文提出了参数分配与正则化 (PAR) 方法，以适应任务的学习难度，从参数分配和正则化中自适应地选择适当的策略，并使用基于最近原型距离的发散估计方法来测量任务相关性，通过时间高效的相关性感知采样搜索策略来减少分配的参数开销，实验结果表明，与 SOTAs 相比，我们的方法可扩展且显著减少了模型的冗余，同时提高了模型的性能，并进一步说明 PAR 获得了合理的任务相关性。
parameter allocationparameter regularizationcatastrophic forgettinglifelong learningarchitecture search
发现论文，激发创造
  • 通过学习参数分配实现灵活的多任务网络

    本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。

    Oct, 2019

  • 基于两阶段强化学习的多实体任务分配方法

    基于相似性的双阶段任务分配算法利用强化学习来学习优化分配策略，有效解决了动态任务分配的挑战，并具有良好的性能和零样本泛化能力。

    Jun, 2024

  • 多任务优化中任务优先级的量化

    通过连接的强度，基于多任务学习提出了一种基于连接强度的优化方法，包括任务优先级的学习和梯度修改两个阶段，从而在多个任务中找到新的帕累托最优解，大大提升了多任务性能。

    Jun, 2024

  • 神经参数分配搜索

    本文提出神经参数分配搜索 (NPAS) 以及 Shapeshifter Networks (SSNs) 算法，通过自动学习神经网络中参数的共享，从而达到内存优化和性能优化的目的。这一方法在多项任务和网络结构中取得良好的效果。

    Jun, 2020

  • AdaTask：一种面向任务的自适应学习率多任务学习方法

    本文提出了一种通过计算任务在某个参数上的累积更新量来度量参数在各个任务之间的占用程度的度量标准，并以此为基础提出了一种名为 AdaTask 的任务自适应学习率方法，该方法可以有效平衡多任务学习中共享层中的参数，对计算机视觉和推荐系统 MTL 数据集进行的全面实验表明，AdaTask 显著提高了受到支配的任务的性能，实现了 SOTA 平均任务性能。

    Nov, 2022

  • 多任务学习中的标签预算分配

    多任务学习中，标签预算分配问题会对整体性能产生显著影响。本文提出了一种任务自适应预算分配算法，通过在不同的多任务学习环境中估计和最大化分配预算的新信息程度，优化多任务学习性能。在 PASCAL VOC 和 Taskonomy 上的实验表明，与其他常用的启发式标签策略相比，我们的方法具有明显的效果。

    Aug, 2023

  • 自适应激活网络和功能正则化用于高效灵活深度多任务学习

    本文提出了一种新的深度学习模型 Task Adaptive Activation Network (TAAN), 它可以自动学习适用于多任务学习的最佳网络架构，通过两种功能规范化方法，证明了 TAAN 和规范化方法的性能提高。

    Nov, 2019

  • MTLoRA：一种用于高效多任务学习的低秩适应方法

    本文介绍了一种新的多任务学习（MTL）模型的参数有效训练框架 MTLoRA，该框架通过使用任务无关和任务特定的低秩适应模块，在 MTL 微调中有效地解离参数空间，从而使模型能够熟练处理 MTL 环境中的任务专业化和交互，并且在 PASCAL 数据集上的广泛实验表明，MTLoRA 在减少可训练参数数量的同时，比对 MTL 模型进行全面微调在下游任务上具有更高的准确性，同时在准确性和效率方面优于当前最先进的参数有效训练方法。

    Mar, 2024

  • 神经机器翻译的连续学习在低遗忘风险区域内进行

    本篇论文提出了一种基于局部特征训练的两阶段方法，能够实现大规模预训练神经机器翻译模型的连续学习，以适应新任务，采用这种方法能够在不访问以前的训练数据或引入模型分离的情况下解决之前方法的不足。

    Nov, 2022

  • 移动边缘学习的自适应任务分配

    本论文旨在为在具有异构计算和通信能力的无线边缘节点上实现具有性能保证的逼真分布式学习算法建立新的优化范例，并考虑了 MEL 的动态任务分配问题，以最大化学习准确性，同时保证在预设时间内，异构通道上数据分布 / 聚合的总时间和异构节点上的局部计算迭代次数被限制。通过比较这些提议解决方案的性能与数值方法和等任务分配方法，展示了这些提议解决方案的优点。

    Nov, 2018