卷积网络迁移学习的显式归纳偏置

ICMLFeb, 2018

Explicit Inductive Bias for Transfer Learning with Convolutional Networks

Xuhong Li, Yves Grandvalet, Franck Davoine

TL;DR本文研究在归纳迁移学习中，fine-tuning 方式相较于从头训练卷积神经网络具有更好的表现。为了提高 fine-tuned 模型在目标任务上的泛化性能，本文探究了多种正则化方法，最终推荐采用 $L^2$ 惩罚并将预训练模型作为基准的方法作为迁移学习任务的 baseline。

Abstract

In inductive transfer learning, fine-tuning pre-trained convolutional networks substantially outperforms training from scratch. When using fine-t

发现论文，激发创造

在迁移学习时代，从头开始训练神经网络已经过时。迁移学习利用先前的知识进行新任务训练，节省计算资源。然而，我们发现一个显著的缺点：网络倾向于优先考虑基本的数据模式，而忽视宝贵的预先学习特征。我们将这种行为称为 “特征侵蚀”，并分析其对网络性能和内部表示的影响。

Oct, 2023

该研究论文探究了通过可视化网络内部表征和量化学习过程中引入的变化（包括特征空间、参数空间和最大激活图像集合的度量）的方式来理解神经网络在艺术图像上所学习的内容，同时展示了一种双重微调策略可以提高较小数据集上的艺术图像分类性能。

Nov, 2020

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

本文研究转移学习中的表示变化，并发现在少样本学习中，在转移学习的早期层次中进行表示变化是有益的，特别是在跨域适应的情况下。同时，我们发现在转移学习的预训练和微调过程中，预训练结构如果不能使用，则不能被学习。

Jul, 2022

本文提出了一种自适应微调方法 SpotTune，使用策略网络根据目标任务的数据实例来选择微调层或预训练层，实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法，并在 Visual Decathlon 数据集中表现优异。

Nov, 2018

本文提出了一种新的、称为弹性调整的 fine-tuning 方式，可以用于处理不同于预训练源的、但与其语义相近的实际数据。通过实验证明，相较于传统做法，在许多领域转移情况中调整中间或早期单元的效果更好。

Aug, 2020

本文提出了一种包含两个组件（交叉卷积批量规范化和分层微调）的微调方法 ConFiT，旨在解决表示转移和批量规范化不一致的问题，并在四个数据集上得到了较低存储开销的优异性能表现。

Apr, 2022

通过概念微调（Concept-Tuning）方法，可以改善预训练模型的特征表示，减少罕见特征和虚假关联特征的负面影响，进而提高细调方法在各种数据集上的表现。

Nov, 2023

本文介绍了一种新的正则化技术，旨在通过高斯混合模型捕捉卷积神经网络中的统计关系，并将其转移到另一个网络中，实现特征表示的高效学习和转移。

Aug, 2017

通过使用 LDIFS 方法，可以在保持下游任务性能不受明显影响的情况下，显著减少概念遗忘现象。

Aug, 2023