ECCVJul, 2020

去除任务干扰的增量多任务学习的卷积重参数化

PDF
TL;DR该研究提出了一种新的重新参数化方法，通过将标准神经网络体系结构的卷积重新参数化成一个不可训练的共享部分（滤波器银行）和任务特定部分（调制器），从而使模型能够学习新任务而不会对现有任务的性能产生负面影响。该方法在 PASCAL-Context 和 NYUD 两个任务上达到了最先进的表现，并且证明了其比竞争对手具有更优秀的增量学习能力。
multi-task networksincremental learningtask interferenceneural network architecturesmodulators
发现论文，激发创造
  • 用于多任务学习的调制模块及其在图像检索中的应用

    本文使用调制模块来增强相关任务之间的耦合度和特征共享，同时通过引入微小的参数进行无关任务的学习分离，使得多任务联合训练更加高效。在两个检索任务上的实验结果表明，与其他多任务学习方法相比，该方法在准确性和存储效率上都具有优势。

    Jul, 2018

  • 一次参数训练，多任务学习与迁移学习

    本文介绍了一种基于小参数集合的深度神经网络迁移学习和多任务学习的新方法，通过调整网络中的特定组件使其适应不同任务，以达到在多个任务中共享参数并且性能表现良好的目的。

    Oct, 2018

  • 重新思考任务增量学习基线

    研究了一种基于简单有效的调整网络（SAN）的增量学习方法，达到了接近最先进的性能，使用最小的架构大小，而不需要使用先前最先进方法中的内存实例，对 3D 点云对象（ModelNet40）和 2D 图像（CIFAR10，CIFAR100，MiniImageNet，MNIST，PermutedMNIST，notMNIST，SVHN 和 FashionMNIST）识别任务进行了研究，并为公平比较现有方法建立了强有力的基准结果。在 2D 和 3D 领域，我们还观察到 SAN 在任务增量设置中基本不受不同任务顺序的影响。

    May, 2022

  • 调制适配器多领域学习

    本文提出使用 Modulation Adapters 进行卷积滤波器权重更新的方法，从而在多领域的图像分类任务中取得了比现有最先进方法更好或相当的效果。

    Jul, 2023

  • 多任务学习中的模块化技能组合

    通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。

    Feb, 2022

  • 可调卷积与参数多损失优化

    本文提出了一种使用参数可调卷积层进行对象和卷积核动态插值优化的方法，能够在不增加额外计算代价的前提下，有效地替代传统卷积，并在图像去噪、去模糊、超分辨率和风格转移等应用中表现优异。

    Apr, 2023

  • 通过学习参数分配实现灵活的多任务网络

    本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。

    Oct, 2019

  • 基于修正的知识保留连续学习

    本文提出了一种新颖的深度学习方法，通过权重修正和仿射变换来解决在增量学习环境下的分类任务，适用于零样本和非零样本学习，并证明了该方法在多个数据集上的效果均超过现有方法。

    Mar, 2021

  • 高效可控多任务架构

    我们提出了一种多任务模型，使得用户可以在部署后调整所需的计算预算和任务性能的相对重要性，无需重新训练。这使得能够为动态变化的用户需求优化性能，而无需为各种情况训练和保存模型造成沉重的计算开销。

    Aug, 2023

  • 高效扩展和基于梯度的任务推断，用于无回放增量学习

    我们提出了一个基于扩展的模型，用于持续学习，通过在先前任务的参数上增加模型来充分利用以前学到的信息，从而实现更好的知识传递。同时，我们还提出了一种强大的任务预测方法，通过使用熵加权的数据增强和伪标签来评估模型性能，并在各种数据集和架构设置中展示了最先进的结果。

    Dec, 2023