对抗训练的深度神经网络转移更佳：以图像分类为例

ICLRJul, 2020

对抗训练的深度神经网络转移更佳：以图像分类为例

Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification

Francisco Utrera, Evan Kravitz, N. Benjamin Erichson, Rajiv Khanna, Michael W. Mahoney

TL;DR本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。

Abstract

transfer learning has emerged as a powerful methodology for adapting pre-trained deep neural networks on image recognition tasks to new domains. This process consists of taking a neural network pre-trained on a l

transfer learning deep neural networks adversarial training limited data influence functions

发现论文，激发创造

对抗鲁棒性 ImageNet 模型是否具有更好的迁移能力？

本研究证明，相较于标准预训练模型，鲁棒性较强的预训练模型在转移学习中表现更佳。通过研究图像分类任务，发现鲁棒性较强的 ImageNet 分类器在一系列标准下游任务中得到了更高的准确性。

Jul, 2020

通过更好的表示实现对抗训练有助于迁移学习

本研究旨在研究迁移学习中使用对抗性训练和半监督学习对数据表示生成的影响，结果表明这两种方法可以生成更好的表示，并能够互补地提高迁移性能。

Jun, 2021

神经网络的领域对抗性训练

本文提出了一种新的领域适应的表示学习方法，使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征，该方法增加了标准层和一个新的反向梯度层，可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。

May, 2015

深度神经网络中对抗性样本的可迁移性调查

深度神经网络的关键问题之一是对抗性攻击和转移性，考虑到安全性和未来的发展，需要加强对抗性漏洞的防御。

Oct, 2023

对抗性稳健的迁移学习

本文研究如何在数据稀缺或者训练成本较高的情况下，通过对源模型的继承和微调，使得目标模型不仅精度高，而且对抗攻击具有良好的鲁棒性，其中运用到 Transfer Learning， Neural Network Classifiers，Robustness，Lifelong Learning 和 Generalization 等关键词。

May, 2019

GAN 转移：从有限数据生成图像

本研究探讨了利用预训练模型的知识迁移学习应用于生成式深度网络中的领域自适应，并发现该方法可以在目标数据有限时缩短收敛时间，显著提高生成图片的质量。

May, 2018

选择性对抗网络的部分迁移学习

该研究论文介绍了一种名为 Selective Adversarial Network (SAN) 的选择性对抗网络，用于解决部分转移学习（partial transfer learning）问题，从而实现大数据时代的分类和特征转移学习优化。实验结果显示，我们的模型优于多个基准数据集上的现有最先进结果。

Jul, 2017

探究可转移的对抗样本和黑盒攻击

本文首次对大规模数据集和大型模型进行了对抗样本的可迁移性的研究，同时也是首次研究了设计有目标的对抗样本在其目标标签之间的可转移性。通过新颖的集成方法，本文发现大量有目标的对抗样本可以成功地与其目标标签一起转移，并且这些使用集成方法生成的对抗样本可以成功地攻击黑匣子图像分类系统 Clarifai.com。

Nov, 2016

领域自适应迁移学习的专家模型

本文研究了传递学习的有效性，并发现原先认为的更多的预训练数据不一定就能提高模型性能，而是需要审慎选择预训练数据。同时，作者提出了基于目标数据集计算重要性权重的领域自适应传递学习方法，并在多个细粒度分类数据集上取得了最先进的结果。

Nov, 2018

基于 Transformer 的对抗攻击在安全领域中的有效性

评估了变压器对系统防御者的恶意样本的强健性以及对系统攻击者的对抗性样本的可迁移性，发现变压器所生成的对抗样本具有最高的可迁移率，对其他模型具有更强的对抗性，强调了研究在安全领域中使用变压器架构进行攻击和防御的重要性，并建议将其作为转移攻击设置中的主要架构。

Oct, 2023