本研究证明，相较于标准预训练模型，鲁棒性较强的预训练模型在转移学习中表现更佳。通过研究图像分类任务，发现鲁棒性较强的 ImageNet 分类器在一系列标准下游任务中得到了更高的准确性。

Jul, 2020

当前 ImageNet 的准确率已接近其上限，研究界越来越关注分布偏移下的鲁棒准确率。本论文主要关注的是如何提高神经网络的鲁棒性，并考虑使用预训练的 ImageNet 模型在目标检测、语义分割、图像分类等不同领域的跨域应用。研究表明，对于目标检测和语义分割等任务，Vanilla Swin Transformer 的鲁棒性相比训练过 ImageNet 的卷积神经网络更强。但对于 CIFAR10 分类任务，当前的鲁棒化技术存在局限性。因此，建立更强大的网络体系结构，加强模型在不同领域之间的迁移学习，是提高模型鲁棒性的重要方向。

Apr, 2022

比较了 16 种分类网络在 12 个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet 准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet 的泛化能力较弱，获得了更差的特征。

May, 2018

本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。

Jul, 2020

本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

Mar, 2020

使用知识转移方法，将较小模型的鲁棒性迁移到大规模网络中，提高大规模模型的性能和鲁棒性。

Sep, 2023

在机器学习中，预训练模型对于下游任务的使用已经成为一种标准方法，虽然其实证明了效果提升，但是预训练模型的鲁棒性如何传递到下游任务中还未被充分理解。我们证明了预测器的鲁棒性可以通过其基础表示的鲁棒性来界定，与预训练协议无关。综上所述，我们的结果明确了可靠性表现在部署时所需要的表示函数的要求。

Aug, 2022

预训练对深度学习中的模型性能具有广泛应用，我们的工作旨在理解该训练策略对下游模型的泛化特性的影响。我们发现，影响下游有效鲁棒性的主要因素是数据数量，而其他因素的影响有限。

Jul, 2023

对现代深度卷积网络（CNN）未能在分布漂移下推广的问题进行了研究，并探究了预备数据量、模型规模和数据处理流程对迁移性能的影响，发现增加训练集和模型大小显著提高了分布偏移鲁棒性，同时是非常简单的预处理，如修改图像分辨率在某些情况下可以显著缓解鲁棒性问题。最后，我们提出了一个新的综合数据集 SI-Score 进行了系统的分析。

Jul, 2020

本文研究了深度学习中预训练对模型鲁棒性和不确定性预测的影响，并通过对对抗性环境、标签结构、类分布、数据分布等进行大量实验，展示了其中很大的性能提升。同时，提出了对抗性预训练方法，实现了不错的性能提升。

Jan, 2019