Jan, 2024

预训练中通过对抗训练获得更好的表示：理论视角

PDF
TL;DR大规模深度学习中，预训练生成了下游任务的通用表示。现有文献经验性地观察到下游任务可以继承预训练模型的对抗鲁棒性，并提出了理论上的证明以揭示特征净化在预训练模型和下游任务之间的连接，在两层神经网络中展现出重要作用。通过对抗训练，每个隐藏节点趋向于选择一个或少量特征，而未经对抗训练的隐藏节点容易受到攻击。这一观察结果适用于监督预训练和对比学习，并且通过净化节点，清洁训练就足以实现下游任务的对抗鲁棒性。
发现论文，激发创造
  • 对抗训练的稳健性从预训练到下游任务的迁移

    在机器学习中，预训练模型对于下游任务的使用已经成为一种标准方法，虽然其实证明了效果提升，但是预训练模型的鲁棒性如何传递到下游任务中还未被充分理解。我们证明了预测器的鲁棒性可以通过其基础表示的鲁棒性来界定，与预训练协议无关。综上所述，我们的结果明确了可靠性表现在部署时所需要的表示函数的要求。

    Aug, 2022

  • 对抗性对比学习实现的强健预训练

    本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

    Oct, 2020

  • 无监督深度神经网络对抗性预训练：过去，现在和未来

    本文综述了对抗性预训练的自监督深度网络，包括卷积神经网络和视觉变换器。我们发现现有方法主要分为两组：针对单个样例进行的无内存实例攻击和在迭代中跨样例共享的基于内存的对手。特别地，我们回顾了基于对比学习（CL）和掩码图像建模（MIM）的几个典型的对抗性预训练模型，讨论了计算开销、输入 / 特征级对手以及其他对抗性预训练方法等杂项问题，最后，我们讨论了关于对抗性和协作式预训练之间关系、统一对比度和 MIM 预训练的未来趋势以及在对抗性预训练中准确性和鲁棒性之间的权衡。

    Oct, 2022

  • 特征净化：对抗训练如何实现鲁棒深度学习

    本文提出了特征纯化原则，表明在神经网络训练期间，小密集混合物的积累是存在对抗性示例的一个原因，并且对抗性训练的一个目标是通过去除这些混合物来净化神经网络的隐藏权重。

    May, 2020

  • 使用预训练可提高模型的鲁棒性和不确定性

    本文研究了深度学习中预训练对模型鲁棒性和不确定性预测的影响，并通过对对抗性环境、标签结构、类分布、数据分布等进行大量实验，展示了其中很大的性能提升。同时，提出了对抗性预训练方法，实现了不错的性能提升。

    Jan, 2019

  • 对抗稳健性作为学习表示的先验

    本研究表明，鲁棒优化可以被重新定义为对深度神经网络学习特征的先验约束，经过鲁棒模型学习的特征表示方法能够解决标准神经网络表示方法的缺陷，并显著提高了高水平的输入编码能力。同时，这些特征表示方法具有相对可逆性，允许直接可视化和操纵输入的显著特征，提示使用对抗性鲁棒性来改善学习表示方法的可行性。

    Jun, 2019

  • 对抗鲁棒性：从自监督预训练到微调

    本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

    Mar, 2020

  • 面向最坏情况下游适应的任务鲁棒预训练

    本文提出了一种新的预训练模型方法，使其在从任务中保持鲁棒性，既在自然语言处理数据集上，又在计算机视觉数据集上都具有较好的表现。

    Jun, 2023

  • 预训练表示中的扩散冗余

    研究表明，在预先训练的神经网络中，一个给定层中的许多神经元之间存在一定程度的冗余，因此可能不需要整个层来执行下游任务，这为提高下游任务的效率和减少数据成本提供了可能。

    May, 2023

  • 下游无关对抗样本

    该论文提出了 AdvEncoder，这是第一个基于预训练编码器生成无下游限制通用对抗样本的框架，在只输出特征向量而非分类标签的情况下，通过高频成分信息和生成式攻击框架构造对抗性扰动 / 补丁来攻击下游任务。实验证明，攻击者可以成功地攻击下游任务，而不需要了解预训练数据集或下游数据集。

    Jul, 2023