Nov, 2018

SpotTune: 自适应微调的迁移学习

PDF
TL;DR本文提出了一种自适应微调方法 SpotTune，使用策略网络根据目标任务的数据实例来选择微调层或预训练层，实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法，并在 Visual Decathlon 数据集中表现优异。
发现论文，激发创造
  • 一种用于最小化功夫迁移学习的灵活选择方案

    本文提出了一种新的、称为弹性调整的 fine-tuning 方式，可以用于处理不同于预训练源的、但与其语义相近的实际数据。通过实验证明，相较于传统做法，在许多领域转移情况中调整中间或早期单元的效果更好。

    Aug, 2020

  • 富人借宝：选择性联合微调的深度迁移学习

    本论文提出了一种源目标选择性联合微调方案，通过识别和使用一组特定的训练样本以及联合微调共享卷积层来改善深度学习任务的性能，该方案在多个视觉分类任务中以单一模型获得了最先进的性能。

    Feb, 2017

  • 手术微调改善对分布转移的适应

    本文探讨迁移学习下的分布漂移问题，提出一种被称为外科手术微调的神经网络微调方法，用于适应数据分布迁移，经实验证明在实际任务中表现优异，特别是在处理图像时，只微调前几层会更有效。

    Oct, 2022

  • 概念级微调对防止负面迁移的重要性

    通过概念微调（Concept-Tuning）方法，可以改善预训练模型的特征表示，减少罕见特征和虚假关联特征的负面影响，进而提高细调方法在各种数据集上的表现。

    Nov, 2023

  • 领域自适应迁移学习的专家模型

    本文研究了传递学习的有效性，并发现原先认为的更多的预训练数据不一定就能提高模型性能，而是需要审慎选择预训练数据。同时，作者提出了基于目标数据集计算重要性权重的领域自适应传递学习方法，并在多个细粒度分类数据集上取得了最先进的结果。

    Nov, 2018

  • 卷积网络迁移学习的显式归纳偏置

    本文研究在归纳迁移学习中，fine-tuning 方式相较于从头训练卷积神经网络具有更好的表现。为了提高 fine-tuned 模型在目标任务上的泛化性能，本文探究了多种正则化方法，最终推荐采用 $L^2$ 惩罚并将预训练模型作为基准的方法作为迁移学习任务的 baseline。

    Feb, 2018

  • 面向目标的网络适应性调整，用于高效表征学习

    本论文提出了一种自动网络适应方法，该方法通过迭代的滤波剪枝和网络优化，从 ImageNet 预训练的网络中去除目标任务的潜在冗余，实现紧凑、高效、适应目标任务的网络结构，并在五个实验数据集上表现出了优异的精度和计算效率。

    Oct, 2018

  • 通过附加侧网络的网络自适应基准

    本文提出了一种简单的神经网络自适应方法 ——side-tuning，通过训练轻量级 “侧边” 网络，并通过求和与预训练网络融合，解决了微调、固定特征和其他常用方法的基本问题，性能表现优越，能够在各种场景下实现增量学习和迁移学习。

    Dec, 2019

  • 神经网络微调的改进正则化和鲁棒性

    通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

    Nov, 2021

  • 高效条件预训练用于迁移学习

    提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

    Nov, 2020