研究通过从不同领域预训练的模型集合（模型库）微调模型是提高低数据量情况下的测试准确性的一种技术，但如何在不进行任何训练的情况下从模型库中预选正确的模型仍然是一个开放的课题。本文使用线性化框架来近似微调，并介绍了两个新的模型选择基准 ——Label-Gradient 和 Label-Feature Correlation，并提出了一个包含单一和多领域模型库以及许多目标任务的新综合基准。该基准突出了与 fine-tuning Imagenet 模型相比使用模型库的准确率提升。我们展示了我们的模型选择基准可以通过少数的选择选择最佳的微调模型，并与现有算法相比具有最高的 fine-tuning 准确度相关性排名。
Jan, 2021
该论文认为，将学习者的能力分散在多个模型中可以使持续学习方法受益。我们使用统计学习理论和实验证明多个任务在单个模型上训练时会以一种非平凡的方式相互作用。该理论促进了我们的方法，名为 Model Zoo，它受启发于提升（boosting）文献，并在持续学习基准问题上展示了大量准确性的收益。
Jun, 2021
本文提出一种方法，利用编码表示中的多样性和相关性变化特征，结合不同预训练模型获得更好的极端样本识别性能。通过实验结果验证了该算法的有效性。
Jun, 2023
本文提出了一种针对预训练模型的评估和组合范式，其中采用特征选择方法排名预训练模型，并将排名最高的模型聚合为目标任务的模型，最终在 35 种模型上展示了该方法的效果。
Oct, 2022
本文提出了一种自适应微调方法 SpotTune，使用策略网络根据目标任务的数据实例来选择微调层或预训练层，实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法，并在 Visual Decathlon 数据集中表现优异。
Nov, 2018
通过分析预先训练的深度学习模型的元数据，并捕捉模型和数据集之间的内在关系，研究人员提出了一种名为 TransferGraph 的新框架，将模型选择问题重新定义为图学习问题，并在 16 个真实数据集上进行了广泛实验，发现相较于现有方法，TransferGraph 在预测性能和实际微调结果之间的相关性上有 32% 的提升。
Apr, 2024
采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。
May, 2022
该论文提出了一种适用于分布式视觉语言预训练的简单方法，并在具有挑战性的 iNaturalist-2021 数据集上实现了零样本分类精度，从而打开了在涉及物种检测的农业相关应用中利用高质量视觉 - 语言预训练模型的新途径。
Feb, 2023
我们设计了一种名为正则化掩码调优的新型调优方法，在下游任务中通过学习的选择来屏蔽网络参数，从而将前期训练阶段中隐藏的有用知识重新引入到视觉语言模型中，通过实验证明了这种方法在不同数据集上的优越性能。
Jul, 2023
本文提出一种名为 Offsite-Tuning 的隐私保护和高效的迁移学习框架，可以适应亿级基础模型到下游数据，同时保留各方的隐私，比现有的需要访问全部模型权重的微调方法在计算上更加高效。