本研究提出使用可计算的传递性度量来预测目标数据集上表现最佳的模型组，从包括 17 个来源数据集、两种不同架构和两种预训练方案在内的大规模源模型池中自动选择模型，在语义分割任务中通过与两个基准模型的比较，实现平均交并比相对提高 6.0% 和 2.5%。

Nov, 2021

本文提出了一个实用性框架 Fennec，通过将所有模型和历史任务映射到一个 transfer-related 子空间中，以判断他们之间的可迁移性，并通过一个大型视觉模型来推断新任务在 transfer 空间中的表示，最后通过 rigorous testing 在两个基准测试上验证了框架的有效性。

Mar, 2024

基于深度学习的预训练模型，挑选最佳模型在不断增多的选择中成为一项挑战。本论文提出了稳健的基准指南用于评估不同的迁移性评估者，并对多个评估者进行有效的结合，结果显示其预测结果的一致性改善。通过全面评估 13 个评估者在 11 个数据集上的表现，包括广义、精细化和医学图像数据集，我们发现只有少数评估者可以与 ImageNet 上的简单原始指标的预测性能匹配，而所有的预测者在医学数据集上都表现不佳。我们的研究结果凸显了在可靠地预测迁移性方面结合不同信息源的潜力。

May, 2024

现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。

Feb, 2024

本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

Oct, 2020

本研究通过建立一个包含各种结构、数据集和训练方法的大型目标检测器转移性基准，提出了一种高效的计算方式，同时评估分类和回归子任务，以及评估具有不同物体的任务。实验证明，相比于蛮力调整所有预训练检测器，我们的方法在不同目标领域下评估转移性能优于其他现有的方法，同时降低了 32 倍的时间和仅需 5.2% 的内存占用。

Mar, 2024

本文研究了传递学习的有效性，并发现原先认为的更多的预训练数据不一定就能提高模型性能，而是需要审慎选择预训练数据。同时，作者提出了基于目标数据集计算重要性权重的领域自适应传递学习方法，并在多个细粒度分类数据集上取得了最先进的结果。

Nov, 2018

通过数据集条件的预训练权重采样，我们提出了一种高效且适应性强的迁移学习方案，通过学习一组预训练权重的分布来实现神经网络在未见数据集上的自适应采样，从而实现更快的收敛速度和更优的性能。

Feb, 2024

本文提出一种基于悔意的模型选择框架，探讨了对于视觉任务模型选择的通用策略与任务相关策略，并且通过具有代表性的数据集验证了一个简单高效的混合搜索策略的有效性。

Oct, 2020

该论文提出了一种方法，联合搜索最佳预训练模型和微调的超参数，建立了一个大规模元数据集，通过元学习方法基于此进行多保真度性能预测器，快速优化新数据集的超参数，最终得到一个精准的预训练模型和其最优超参数。

Jun, 2023