对抗性稳健的迁移学习

May, 2019

Adversarially robust transfer learning

Ali Shafahi, Parsa Saadatpanah, Chen Zhu, Amin Ghiasi, Christoph Studer...

TL;DR本文研究如何在数据稀缺或者训练成本较高的情况下，通过对源模型的继承和微调，使得目标模型不仅精度高，而且对抗攻击具有良好的鲁棒性，其中运用到 Transfer Learning， Neural Network Classifiers，Robustness，Lifelong Learning 和 Generalization 等关键词。

Abstract

transfer learning, in which a network is trained on one task and re-purposed on another, is often used to produce neural network classifiers when data is scarce or full-scale training is too costly. When the goal

transfer learning neural network classifiers robustness lifelong learning generalization

发现论文，激发创造

对抗鲁棒性 ImageNet 模型是否具有更好的迁移能力？

本研究证明，相较于标准预训练模型，鲁棒性较强的预训练模型在转移学习中表现更佳。通过研究图像分类任务，发现鲁棒性较强的 ImageNet 分类器在一系列标准下游任务中得到了更高的准确性。

Jul, 2020

对抗训练的深度神经网络转移更佳：以图像分类为例

本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。

Jul, 2020

CARTL：合作式对抗性鲁棒迁移学习

本文研究了在深度学习中常用的迁移学习策略，探讨了始终关注模型精度而忽视模型鲁棒性问题的不足之处，并提出了一种基于特征距离最小化的协作式对抗鲁棒迁移学习方法（CARTL），以提高模型的鲁棒性。本文还就 BN 层对模型鲁棒性的影响进行研究，发现冻结 BN 层可以进一步提高模型的鲁棒性。

Jun, 2021

Renofeation: 一种简单的迁移学习方法，用于提高对抗鲁棒性

本文研究表明，用预先训练的大规模数据集上的模型进行知识转移进行微调，可以帮助构建在小规模数据集上有效的模型。通过针对最后一个线性层重新训练的转移学习的最新对抗性攻击可以成功欺骗通过端到端微调进行转移学习的模型，这引起了许多工业应用的安全问题。相比之下，没有转移训练的随机初始化的模型通常表现出更强的鲁棒性，虽然这些模型的准确性往往较低。为此，我们提出了一种称为嘈杂特征蒸馏的新的转移学习方法，可以从随机初始化的网络进行训练，同时可以达到与微调相竞争的清洁数据性能。

Feb, 2020

鲁棒性可转移特征提取器：学习防御白盒对抗下的预训练网络

本研究提出了一种名为 Robust Transferable Feature Extractor（RTFE）的深度学习先处理机制，该机制可在多个独立训练的分类器中提供对抗鲁棒性，并且可以为不同数据集独立训练的模型提供一次性的对抗鲁棒性。

Sep, 2022

通过更好的表示实现对抗训练有助于迁移学习

本研究旨在研究迁移学习中使用对抗性训练和半监督学习对数据表示生成的影响，结果表明这两种方法可以生成更好的表示，并能够互补地提高迁移性能。

Jun, 2021

动态调节对抗性对手的对抗微调

本文提出了一种简单而有效的基于迁移学习的对抗性训练策略，该策略将对抗样本的负面影响与模型的标准性能分离开来，引入了一种训练友好的对抗攻击算法，同时保持了模型对干净数据的标准性能，从而提高了模型的鲁棒性。

Apr, 2022

对抗鲁棒模型未必具备更好的迁移能力：从正则化角度出发得到域迁移的充分条件

本文研究机器学习中，鲁棒性和域泛化的联系，提出基于函数类正则化的域转移的充分条件，证明了鲁棒性对域泛化不是必要也不充分的，数据增强和正则化可以提高泛化性能。

Feb, 2022

带残差转移网络的无监督域自适应

本文提出了一种可以同时学习源域标记数据和目标域未标记数据的适应分类器和可转移特征的深度网络领域适应新方法。改进了以往方法假设源分类器和目标分类器共享分类器的假设，并通过将多个层的特征与张量积融合并将它们嵌入可再生核希尔伯特空间来匹配特征适应的分布。实验结果表明新方法在标准领域适应基准上优于现有最先进的方法。

Feb, 2016

选择性对抗网络的部分迁移学习

该研究论文介绍了一种名为 Selective Adversarial Network (SAN) 的选择性对抗网络，用于解决部分转移学习（partial transfer learning）问题，从而实现大数据时代的分类和特征转移学习优化。实验结果显示，我们的模型优于多个基准数据集上的现有最先进结果。

Jul, 2017