本论文提出了一种自动网络适应方法，该方法通过迭代的滤波剪枝和网络优化，从 ImageNet 预训练的网络中去除目标任务的潜在冗余，实现紧凑、高效、适应目标任务的网络结构，并在五个实验数据集上表现出了优异的精度和计算效率。

Oct, 2018

本文提出了一种名为 TransTailor 的针对预训练模型的剪枝方法，通过根据目标权重重要性修剪和微调预训练模型，生成一个适用于特定目标任务的最优子模型，以获得更好的迁移学习性能。实验结果表明，TransTailor 可以在使用更小的模型时，优于传统剪枝方法以及其他最先进的迁移学习方法，特别是在 Stanford Dogs 数据集上，TransTailor 的准确度提高了 2.7%。

Mar, 2021

采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

May, 2022

通过对 CNN 进行 fine-tuning，增加模型容量可以更自然的适应目标数据。同时，通过对比发现增加网络单元的增长方法在一些基准数据集中表现出色。

Jul, 2019

本文提出了一种新的、称为弹性调整的 fine-tuning 方式，可以用于处理不同于预训练源的、但与其语义相近的实际数据。通过实验证明，相较于传统做法，在许多领域转移情况中调整中间或早期单元的效果更好。

Aug, 2020

本文提出了一种简单的神经网络自适应方法 ——side-tuning，通过训练轻量级 “侧边” 网络，并通过求和与预训练网络融合，解决了微调、固定特征和其他常用方法的基本问题，性能表现优越，能够在各种场景下实现增量学习和迁移学习。

Dec, 2019

本文提出了一种自适应微调方法 SpotTune，使用策略网络根据目标任务的数据实例来选择微调层或预训练层，实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法，并在 Visual Decathlon 数据集中表现优异。

Nov, 2018

本文提出了使用预训练模型进行迁移学习并使用主动学习方法选取最有用的样本来有限微调模型，以此降低标注成本并实现深度神经网络的经济有效训练。在多个数据集和不同预训练模型上进行的实验证明了该方法的有效性。

Feb, 2018

提出了 InstaTune 方法，该方法利用现成的预训练权重为大型模型生成超级网络，通过使用多目标进化搜索算法和轻度训练的预测器，得到在准确度和 MACs 等性能目标方面优于基线的帕累托最优子网络。

Aug, 2023

本研究从神经结构搜索的角度探讨了在 few-shot 识别中如何设计最优的适应策略，包括适配器的排列方式、哪些层保持冻结、哪些层进行微调等，并在 Meta-Dataset 和 Meta-Album 上展示了技术的普适性和最新的性能。

Jun, 2023