本研究旨在解答在医学图像分析的背景下，如何才能让使用具有足够精细调整过的预训练深度 CNN 能够消除从头开始使用 CNN 进行训练的需求这一核心问题。在考虑了医学成像应用中的分类，检测和分割等方面时，我们的实验结果一致表明：1）使用经过足够精细调整的预训练 CNN 显著优于或者和从头开始训练的 CNN 一样好；2）相比于从头开始训练的 CNN，精细调整的 CNN 更加稳健；3）浅调整和深度调整都不是特定应用的最佳选择；4）我们的逐层精细调整方案可以根据可用数据量为手头的应用程序提供达到最佳性能的实用方法。

Jun, 2017

基于数据输入，本研究提出了一种新算法，允许卷积神经网络的卷积层在动态环境下进行演化，并无缝地整合到现有的 DNNs 中。通过引入核函数，迭代性地评估图像特征的识别能力，本方法在多个数据集上展示了优于监督方法的表现，并在迁移学习场景中展示了增强的适应性，填补了深度学习中对于动态环境更灵活高效的 DNNs 的空白。

Sep, 2023

该研究论文探究了通过可视化网络内部表征和量化学习过程中引入的变化（包括特征空间、参数空间和最大激活图像集合的度量）的方式来理解神经网络在艺术图像上所学习的内容，同时展示了一种双重微调策略可以提高较小数据集上的艺术图像分类性能。

Nov, 2020

提出了一种基于迁移学习的网络微调方法 NetTailor，它使用预训练的 CNN 层作为通用模块，可以与小的任务特定层组合生成新的网络，通过软注意力机制和复杂度正则化约束，最小化分类错误的同时降低网络复杂度。该方法可以使得适应简单任务的网络结构比适应复杂任务的网络结构更小，并且不降低参数共享和分类精度。

Jun, 2019

该研究发现，一些较大的神经网络在增加容量以减少欠拟合方面失败，这可能是由于训练误差方面容量的收益急剧减少导致的，指出了优化方法（一阶梯度下降）在这种情况下失败。通过直接解决这个问题，可以通过优化方法或参数化选择来改善需要大容量的大型数据集上的泛化误差。

Jan, 2013

本文提供基于结构剪枝的边缘设备上的 CNN 微调方法，旨在提高模型精度和降低计算和存储性能消耗。结果表明，数据感知的剪枝和重新训练可以在各种子集，网络和剪枝级别上提供 10.2pp 的精度提高。

Jun, 2020

本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

Jun, 2023

本文提出了一种新的、称为弹性调整的 fine-tuning 方式，可以用于处理不同于预训练源的、但与其语义相近的实际数据。通过实验证明，相较于传统做法，在许多领域转移情况中调整中间或早期单元的效果更好。

Aug, 2020

本文提出了使用预训练模型进行迁移学习并使用主动学习方法选取最有用的样本来有限微调模型，以此降低标注成本并实现深度神经网络的经济有效训练。在多个数据集和不同预训练模型上进行的实验证明了该方法的有效性。

Feb, 2018

本文提出了一种自适应微调方法 SpotTune，使用策略网络根据目标任务的数据实例来选择微调层或预训练层，实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法，并在 Visual Decathlon 数据集中表现优异。

Nov, 2018