对抗鲁棒性 ImageNet 模型是否具有更好的迁移能力？
比较了16种分类网络在12个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet的泛化能力较弱，获得了更差的特征。
May, 2018
本研究通过使用多个强健度和成功率等措施，在306个模型对之间全面测试了18个ImageNet模型，并揭示了若干新的见解：（1）在分类错误的对数下，经验L2和L∞扭曲度量呈线性比例律；（2）模型架构比模型尺寸更重要；（3）对于相似的网络架构，略微增加网络深度可在L∞扭曲度上提高强健性；（4）存在具有高度敌对可转性的模型，而从一个模型制造的大多数敌对示例仅可以在同一家族内转移。
Aug, 2018
本文研究如何在数据稀缺或者训练成本较高的情况下，通过对源模型的继承和微调，使得目标模型不仅精度高，而且对抗攻击具有良好的鲁棒性，其中运用到Transfer Learning， Neural Network Classifiers，Robustness，Lifelong Learning和Generalization等关键词。
May, 2019
本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。
Jul, 2020
本文研究机器学习中，鲁棒性和域泛化的联系，提出基于函数类正则化的域转移的充分条件，证明了鲁棒性对域泛化不是必要也不充分的，数据增强和正则化可以提高泛化性能。
Feb, 2022
当前 ImageNet 的准确率已接近其上限，研究界越来越关注分布偏移下的鲁棒准确率。本论文主要关注的是如何提高神经网络的鲁棒性，并考虑使用预训练的 ImageNet 模型在目标检测、语义分割、图像分类等不同领域的跨域应用。研究表明，对于目标检测和语义分割等任务，Vanilla Swin Transformer 的鲁棒性相比训练过 ImageNet 的卷积神经网络更强。但对于 CIFAR10分类任务，当前的鲁棒化技术存在局限性。因此，建立更强大的网络体系结构，加强模型在不同领域之间的迁移学习，是提高模型鲁棒性的重要方向。
Apr, 2022
通过对拟合平滑度和梯度相似度进行权衡，我们揭示了对抗传递的调节机制，发现数据分布移位导致的梯度相似度降级说明了拟合平滑度与梯度相似度之间的贸易协定，并提出了一种更好的替代品构建方法，旨在优化拟合平滑度和梯度相似度，通过数据增强、梯度正则化等技术进行验证。
Jul, 2023
在这项研究中，我们深入研究了迁移学习中的对抗鲁棒性，并揭示了初始化的关键作用，包括预训练模型和线性头部。我们发现对抗鲁棒的预训练模型的必要性，并通过线性探测发现它能在某些数据集上优于全面微调和其他方法。基于此，我们提出了Robust Linear Initialization（RoLI）来对抗微调，通过使用对抗线性探测获得的权重来最大程度地继承预训练的鲁棒性，并在五个不同的图像分类数据集上取得了新的最优结果。
Dec, 2023