本文研究如何在数据稀缺或者训练成本较高的情况下，通过对源模型的继承和微调，使得目标模型不仅精度高，而且对抗攻击具有良好的鲁棒性，其中运用到 Transfer Learning， Neural Network Classifiers，Robustness，Lifelong Learning 和 Generalization 等关键词。

May, 2019

本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。

Jul, 2020

本研究证明，相较于标准预训练模型，鲁棒性较强的预训练模型在转移学习中表现更佳。通过研究图像分类任务，发现鲁棒性较强的 ImageNet 分类器在一系列标准下游任务中得到了更高的准确性。

Jul, 2020

该研究提出了一种名为数据中心稳健学习（DRL）的新的防御范例，通过在训练之前进行一次性的对抗性增强来提高对迁移攻击的稳健性，并且在黑盒稳健性上超过了多种常用的对抗训练技术。此外，DRL 还具有模型的泛化能力和稳健公平性。

Oct, 2023

本文研究表明，用预先训练的大规模数据集上的模型进行知识转移进行微调，可以帮助构建在小规模数据集上有效的模型。通过针对最后一个线性层重新训练的转移学习的最新对抗性攻击可以成功欺骗通过端到端微调进行转移学习的模型，这引起了许多工业应用的安全问题。相比之下，没有转移训练的随机初始化的模型通常表现出更强的鲁棒性，虽然这些模型的准确性往往较低。为此，我们提出了一种称为嘈杂特征蒸馏的新的转移学习方法，可以从随机初始化的网络进行训练，同时可以达到与微调相竞争的清洁数据性能。

Feb, 2020

本文提出了一种灵活的迁移学习方法 —— 自适应强健迁移学习（ART）。引入了 ART 整合的机器，验证了其有效性和实现了许多成功的实验。

Apr, 2023

本文通过提高对抗性鲁棒性的角度重新审视和推进了对比学习。作者设计了高频组件的对比视图，以及增加伪监督刺激的对比学习来帮助保护模型的鲁棒性。作者提出了一种新的对抗性对比预训练框架 AdvCL， 在多个数据集上展示了其卓越的性能，该框架能够提高跨任务鲁棒性传输，同时不会降低准确性和微调效率。

Nov, 2021

本研究提出一种用于视觉领域适应的 CNN 架构，利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息，其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。

Oct, 2015

该论文研究了对抗样本在不同模型间的可转移性问题，并发现早期停止训练可以提高可转移性，并提出了一种新方法 RFN，通过最小化损失的尖锐度来最大化可转移性。

Apr, 2023

我们的论文介绍了一种新颖的转移学习方法，即分布鲁棒优化（TransDRO），它破除了严格的相似性约束，并通过在不确定性集合内优化最具对抗性的损失来优化目标数据的预测性能。通过数值研究和多机构电子健康记录数据的分析，我们验证了 TransDRO 的稳健性和准确性，突显其在转移学习应用中作为强大工具的潜力。

Sep, 2023