Oct, 2022

无监督深度神经网络对抗性预训练：过去，现在和未来

PDF
TL;DR本文综述了对抗性预训练的自监督深度网络，包括卷积神经网络和视觉变换器。我们发现现有方法主要分为两组：针对单个样例进行的无内存实例攻击和在迭代中跨样例共享的基于内存的对手。特别地，我们回顾了基于对比学习（CL）和掩码图像建模（MIM）的几个典型的对抗性预训练模型，讨论了计算开销、输入 / 特征级对手以及其他对抗性预训练方法等杂项问题，最后，我们讨论了关于对抗性和协作式预训练之间关系、统一对比度和 MIM 预训练的未来趋势以及在对抗性预训练中准确性和鲁棒性之间的权衡。
adversarial pretrainingself-supervised deep networksconvolutional neural networksvision transformerscontrastive learning
发现论文，激发创造
  • 对抗性对比学习实现的强健预训练

    本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

    Oct, 2020

  • 对抗性动量对比预训练

    为了在更小的批次和更少的 epochs 中帮助神经网络学习更强大的特征表示，本文提出了一种新的对抗动量对比学习方法，并引入了对应于干净样本和对抗样本的两个存储器。与以前的对抗性预训练模型相比，该方法在更小的批量和更少的训练 epochs 下实现了更好的性能。此外，该模型在下游分类任务上微调后优于一些最先进的监督防御方法。

    Dec, 2020

  • 自监督方法提高对抗性鲁棒性

    本文首次提出了一种自我监督的对抗训练机制，在输入空间中防御对抗性攻击，并提供极大的鲁棒性，可以作为即插即用的解决方案来保护各种视觉系统，包括分类、分割和检测，同时极大降低了未知攻击的成功率。

    Jun, 2020

  • 预训练中通过对抗训练获得更好的表示：理论视角

    大规模深度学习中，预训练生成了下游任务的通用表示。现有文献经验性地观察到下游任务可以继承预训练模型的对抗鲁棒性，并提出了理论上的证明以揭示特征净化在预训练模型和下游任务之间的连接，在两层神经网络中展现出重要作用。通过对抗训练，每个隐藏节点趋向于选择一个或少量特征，而未经对抗训练的隐藏节点容易受到攻击。这一观察结果适用于监督预训练和对比学习，并且通过净化节点，清洁训练就足以实现下游任务的对抗鲁棒性。

    Jan, 2024

  • 对抗鲁棒性：从自监督预训练到微调

    本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

    Mar, 2020

  • 自监督对抗训练

    本论文介绍了如何利用自监督学习的方法抵御神经网络的对抗攻击，提出了自监督表示结合 k - 最近邻算法用于分类，同时还提出了自主学习对抗训练。实验结果表明，自监督表示在稳健性方面优于其受监督版本，并且自监督对抗训练可以有效提高防御能力。

    Nov, 2019

  • 对比学习何时能从预训练到微调保持对抗鲁棒性？

    本文通过提高对抗性鲁棒性的角度重新审视和推进了对比学习。作者设计了高频组件的对比视图，以及增加伪监督刺激的对比学习来帮助保护模型的鲁棒性。作者提出了一种新的对抗性对比预训练框架 AdvCL， 在多个数据集上展示了其卓越的性能，该框架能够提高跨任务鲁棒性传输，同时不会降低准确性和微调效率。

    Nov, 2021

  • 对抗性自监督对比学习

    本文提出一种新的对未标记数据的敌对攻击方法，并提出了一种自监督对比学习框架来实现无标记数据的敌对训练，旨在最大化数据样本的随机扩增和其实例级对抗扰动之间的相似度。我们在多个基准数据集上验证了我们的方法，发现它在鲁棒精度方面与最先进的有监督敌对学习方法相当，并且对于黑盒和未知类型的攻击具有显着的提高鲁棒性。此外，通过进一步联合微调有监督对抗损失，我们的方法可以获得更高的鲁棒精度，特别是在鲁棒迁移学习方面取得了令人瞩目的结果。

    Jun, 2020

  • 对比对抗训练中通过认知失调缓解实现健壮性

    本文介绍了一种新的神经网络训练框架，通过将对比学习与对抗训练相结合，增强了模型对对抗攻击的鲁棒性，同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性，并使用 CIFAR-10 数据集验证了他们的方法，发现其优于其他监督和自监督方法。

    Mar, 2022

  • 窃取隐形：通过对抗样本和时间侧信道揭示预训练的卷积神经网络模型

    基于对对抗性图像分类模式的观察，我们提出一种用于盗取模型的方法，结合时间侧信道和对抗性图像分类，以指纹识别多个著名的卷积神经网络和 Vision Transformer 架构，该方法可在减少查询次数的同时保持高准确率。

    Feb, 2024