Renofeation: 一种简单的迁移学习方法，用于提高对抗鲁棒性

CVPRFeb, 2020

Renofeation: 一种简单的迁移学习方法，用于提高对抗鲁棒性

Renofeation: A Simple Transfer Learning Method for Improved Adversarial Robustness

Ting-Wu Chin, Cha Zhang, Diana Marculescu

TL;DR本文研究表明，用预先训练的大规模数据集上的模型进行知识转移进行微调，可以帮助构建在小规模数据集上有效的模型。通过针对最后一个线性层重新训练的转移学习的最新对抗性攻击可以成功欺骗通过端到端微调进行转移学习的模型，这引起了许多工业应用的安全问题。相比之下，没有转移训练的随机初始化的模型通常表现出更强的鲁棒性，虽然这些模型的准确性往往较低。为此，我们提出了一种称为嘈杂特征蒸馏的新的转移学习方法，可以从随机初始化的网络进行训练，同时可以达到与微调相竞争的清洁数据性能。

Abstract

Fine-tuning through knowledge transfer from a pre-trained model on a large-scale dataset is a widely spread approach to effectively build models on small-scale datasets. In this work, we show that a recent adversarial attack designed for →

transfer learning adversarial attack noisy feature distillation robustness model performance

发现论文，激发创造

对抗性稳健的迁移学习

本文研究如何在数据稀缺或者训练成本较高的情况下，通过对源模型的继承和微调，使得目标模型不仅精度高，而且对抗攻击具有良好的鲁棒性，其中运用到 Transfer Learning， Neural Network Classifiers，Robustness，Lifelong Learning 和 Generalization 等关键词。

May, 2019

对抗训练的深度神经网络转移更佳：以图像分类为例

本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。

Jul, 2020

鲁棒性可转移特征提取器：学习防御白盒对抗下的预训练网络

本研究提出了一种名为 Robust Transferable Feature Extractor（RTFE）的深度学习先处理机制，该机制可在多个独立训练的分类器中提供对抗鲁棒性，并且可以为不同数据集独立训练的模型提供一次性的对抗鲁棒性。

Sep, 2022

CARTL：合作式对抗性鲁棒迁移学习

本文研究了在深度学习中常用的迁移学习策略，探讨了始终关注模型精度而忽视模型鲁棒性问题的不足之处，并提出了一种基于特征距离最小化的协作式对抗鲁棒迁移学习方法（CARTL），以提高模型的鲁棒性。本文还就 BN 层对模型鲁棒性的影响进行研究，发现冻结 BN 层可以进一步提高模型的鲁棒性。

Jun, 2021

对抗鲁棒性 ImageNet 模型是否具有更好的迁移能力？

本研究证明，相较于标准预训练模型，鲁棒性较强的预训练模型在转移学习中表现更佳。通过研究图像分类任务，发现鲁棒性较强的 ImageNet 分类器在一系列标准下游任务中得到了更高的准确性。

Jul, 2020

通过平移不变攻击规避转移对抗样本的防御

本文提出了一种翻译不变攻击方法，该方法利用一个翻译图像集合上的扰动以生成更易于转移的对抗示例，并表明该方法通常适用于任何梯度攻击方法。作者在 ImageNet 数据集上广泛实验验证了该方法的有效性，并证明该攻击技术的存在不安全性。

Apr, 2019

梯度细化改善对抗迁移能力

采用梯度修正的方法，可进一步提高对抗性转移性，通过对多个转换引入的无用梯度进行修正，我们的方法在 ImageNet 数据集上可以实现 82.07％的平均转移成功率，在单模型设置下胜过其他最先进的方法的平均 6.0％，并且我们已将所提出的方法应用于由阿里巴巴组织的 CVPR 2021 ImageNet 无限制对抗攻击比赛中，攻击成功率在 1558 支队伍中排名第二。

May, 2021

对抗鲁棒蒸馏

本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

May, 2019

对抗迁移学习中的初始化问题

在这项研究中，我们深入研究了迁移学习中的对抗鲁棒性，并揭示了初始化的关键作用，包括预训练模型和线性头部。我们发现对抗鲁棒的预训练模型的必要性，并通过线性探测发现它能在某些数据集上优于全面微调和其他方法。基于此，我们提出了 Robust Linear Initialization（RoLI）来对抗微调，通过使用对抗线性探测获得的权重来最大程度地继承预训练的鲁棒性，并在五个不同的图像分类数据集上取得了新的最优结果。

Dec, 2023

探索随机平滑的可转移性

我们提出了一种用于预训练可认证的强健模型的方法，通过显著扩展预训练数据分布，在下游任务的微调中取得显著效益。我们通过对混合干净图像和各种噪声图像进行预训练，发现即使仅在干净图像上进行微调，也能取得惊人的认证准确率。此外，我们的方法仅需一个模型，即可处理各种噪声水平，大大降低了与以往使用多个模型的方法相比的计算成本。尽管仅使用一个模型，我们的方法仍可以得出与现有的多模型方法相当甚至更好的结果。

Dec, 2023