本文探讨了 ImageNet 数据集对于学习优秀通用特征的关键属性，发现大多数对预训练数据集的选择的改变不会显著影响迁移学习的表现。在相同的训练类别数量下，分类粗细程度或每个类别样例数目的增加对学习特征的质量影响大于类别数量的增加。

Aug, 2016

本研究证明，相较于标准预训练模型，鲁棒性较强的预训练模型在转移学习中表现更佳。通过研究图像分类任务，发现鲁棒性较强的 ImageNet 分类器在一系列标准下游任务中得到了更高的准确性。

Jul, 2020

本文研究了来自十六个不同的预训练 ImageNet 模型的特征对于迁移学习领域适应问题的影响，并找到了最佳的特征提取层，实验表明，精度较高的 ImageNet 模型产生的特征能够更好地适应领域迁移问题并取得更高的精度，其表现超过了三个基准数据集中的最优算法。

Feb, 2020

通过 15 项单任务和多任务性能评估，系统地研究了 ConvNets 和 vision transformers 的迁移学习能力，发现 vision transformers 在 13 个下游任务中表现出一致优势，并且更适合于多任务学习。

Aug, 2021

本文探讨了用自然图像数据集（ImageNet）通过标准大型模型和预训练权重进行迁移学习在深度学习医学成像应用中的方法。然而，此方法在自然图像分类和目标医学任务之间存在根本差异，并且人们对迁移效果的了解甚少。该研究表明，在两项大规模医学成像任务的性能评估中，迁移学习对性能的提升有限，而简单轻量级模型可以与 ImageNet 架构相当。此外，还探讨了迁移的权重尺度的独立特性，并阐述了对更高效的模型探索的意义。

Feb, 2019

当前 ImageNet 的准确率已接近其上限，研究界越来越关注分布偏移下的鲁棒准确率。本论文主要关注的是如何提高神经网络的鲁棒性，并考虑使用预训练的 ImageNet 模型在目标检测、语义分割、图像分类等不同领域的跨域应用。研究表明，对于目标检测和语义分割等任务，Vanilla Swin Transformer 的鲁棒性相比训练过 ImageNet 的卷积神经网络更强。但对于 CIFAR10 分类任务，当前的鲁棒化技术存在局限性。因此，建立更强大的网络体系结构，加强模型在不同领域之间的迁移学习，是提高模型鲁棒性的重要方向。

Apr, 2022

本文研究表明，ImageNet 预训练模型虽然在泛化方面作出了贡献，但同时也将非健壮性特性从预训练模型转移到了下游分类任务中的微调模型，本文介绍了其原因并提出了一种简单的健壮性 ImageNet 预训练解决方案。

Jun, 2021

本论文研究了深度神经网络中神经元的广泛性与特定性，发现转移特征会受到特化高层神经元和合作适应神经元之间优化困难性的限制，转移特征的适用性随着目标任务与基础任务的差距而降低，但即使从远任务中转移特征，也比使用随机特征好，从几乎任意数量的层中初始化网络都可以提高广义化的效果，即使经过微调后能够持续。

Nov, 2014

本文深入研究了在 ImageNet 数据集上，基于无结构剪枝的卷积神经网络模型的迁移学习，表明稀疏模型在高度稀疏的情况下可以匹敌甚至超越密集模型的迁移性能，并且可以带来显著的推理甚至训练加速。同时观察并分析了不同剪枝方法之间的行为差异。

Nov, 2021

本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。

Jul, 2017