一次参数训练，多任务学习与迁移学习

ICLROct, 2018

一次参数训练，多任务学习与迁移学习

K for the Price of 1: Parameter-efficient Multi-task and Transfer Learning

Pramod Kaushik Mudrakarta, Mark Sandler, Andrey Zhmoginov, Andrew Howard

TL;DR本文介绍了一种基于小参数集合的深度神经网络迁移学习和多任务学习的新方法，通过调整网络中的特定组件使其适应不同任务，以达到在多个任务中共享参数并且性能表现良好的目的。

Abstract

We introduce a novel method that enables parameter-efficient transfer and multi-task learning with deep neural networks. The basic approach is to learn a model patch - a small set of parameters - that will specia

transfer learning deep neural networks multi-task learning low-parameter layers fine-tuning

发现论文，激发创造

通过学习参数分配实现灵活的多任务网络

本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。

Oct, 2019

muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％以上的参数。

May, 2022

VMT-Adapter: 多任务强化学习的参数高效迁移学习

大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

Dec, 2023

深度神经网络的可移植性改进

通过实验在 ImageNet22k 和 Oxford Flowers 数据集上，探究神经网络层的学习率、数据集的图片与标签参数对转移学习的影响，优化神经网络的学习效率，实现图像分类任务的高准确度。

Jul, 2018

面向参数高效的迁移学习统一视角

本文提供了一个统一框架来探讨 NLP 中参数高效的迁移学习方法，将多种不同的方法重新构建为预训练模型中特定 hidden states 的修改，定义了一组设计维度以表明不同方法的变化方向，如计算修改的函数和应用修改的位置等。通过涵盖机器翻译、文本摘要、语言理解和文本分类基准的全面实证研究，识别了以前方法中的重要设计选择。此外，我们的统一框架使得设计元素可以在不同方法之间进行转移，从而实现了比以前更高效的 fine-tuning 方法。

Oct, 2021

深度超参数化多任务学习中的紧凑神经网络学习

紧凑型神经网络面向多任务学习的过参数化设计以提高优化和泛化性能，通过在训练过程中对模型架构进行过参数化，并更有效地共享过参数化的模型参数，以在小参数大小和低计算成本下获得与更复杂和强大架构相同或更好的模型性能。在两个具有挑战性的多任务数据集（NYUv2 和 COCO）上的实验证明了所提方法在各种卷积网络和参数大小下的有效性。

Aug, 2023

多域深度神经网络的高效参数化

本文提出用一些适量的参数区分不同的子任务，从而在视觉领域的多个任务中进行迁移学习，此类参数化极易压缩且具有较高的性能。

Mar, 2018

基于目标的迁移学习改善小型医学物理数据集的性能

本研究评估比较不同的训练神经网络技术，提出为小型数据集提高模型准确度的方法，并发现迁移学习对于重复利用以前学习的特征有重要作用，特别是在医学图像应用中。

Dec, 2019

正则化深度网络的高效 K-Shot 学习

为了解决小规模数据下优化问题，我们提出了一种对预训练深度神经网络进行微调的简单而有效的正则化方法，它的核心策略是将模型参数聚类，确保聚类内的相似性和聚类间的差异性，提高参数搜索空间的正规性；具体而言，我们使用强化学习搜索策略和递归网络来学习每个网络层的最优分组，实验结果表明，相较於其他最新的基于微调的 k-shot 学习策略，我们的方法可以轻松应用于几种流行的卷积神经网络，提高了 10% 以上的性能。

Oct, 2017

去除任务干扰的增量多任务学习的卷积重参数化

该研究提出了一种新的重新参数化方法，通过将标准神经网络体系结构的卷积重新参数化成一个不可训练的共享部分（滤波器银行）和任务特定部分（调制器），从而使模型能够学习新任务而不会对现有任务的性能产生负面影响。该方法在 PASCAL-Context 和 NYUD 两个任务上达到了最先进的表现，并且证明了其比竞争对手具有更优秀的增量学习能力。

Jul, 2020