对比学习何时能从预训练到微调保持对抗鲁棒性？

Nov, 2021

对比学习何时能从预训练到微调保持对抗鲁棒性？

When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning?

Lijie Fan, Sijia Liu, Pin-Yu Chen, Gaoyuan Zhang, Chuang Gan

TL;DR本文通过提高对抗性鲁棒性的角度重新审视和推进了对比学习。作者设计了高频组件的对比视图，以及增加伪监督刺激的对比学习来帮助保护模型的鲁棒性。作者提出了一种新的对抗性对比预训练框架 AdvCL，在多个数据集上展示了其卓越的性能，该框架能够提高跨任务鲁棒性传输，同时不会降低准确性和微调效率。

Abstract

contrastive learning (CL) can learn generalizable feature representations and achieve the state-of-the-art performance of downstream tasks by finetuning a linear classifier on top of it. However, as adversarial robustne

contrastive learning adversarial robustness pretraining pseudo-supervision stimulus advcl

发现论文，激发创造

对抗性对比学习实现的强健预训练

本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

Oct, 2020

对比对抗训练中通过认知失调缓解实现健壮性

本文介绍了一种新的神经网络训练框架，通过将对比学习与对抗训练相结合，增强了模型对对抗攻击的鲁棒性，同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性，并使用 CIFAR-10 数据集验证了他们的方法，发现其优于其他监督和自监督方法。

Mar, 2022

探究对比学习为何有益于提高对抗标签噪声的鲁棒性

通过自监督对比学习，深度神经网络通过学习具有卓越的鲁棒性的表示矩阵来避免噪声标签造成的过拟合，并进一步证明通过对比学习预训练的深度神经网络具有低秩结构，这种结构可以帮助深度神经网络更好地适应噪声标签。

Jan, 2022

具备理论保证的强健对比学习

通过开发严密的理论来剖析和确定无监督损失中能够帮助改善鲁棒监督损失的成分，并进行适当实验证实我们的发现。

Nov, 2023

对抗鲁棒性：从自监督预训练到微调

本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

Mar, 2020

图形对比学习方法的对抗鲁棒性

通过对图结构的适应性敌对攻击评估节点和图分类任务，本研究介绍了一个全面的 GCL 模型鲁棒性评估协议，旨在探索 GCL 方法的鲁棒性，并为潜在的未来研究方向开辟新途径。

Nov, 2023

对比自监督学习导致更高的对抗性易感性

通过对比自监督学习与 supervised learning 在对抗鲁棒性上的表现，本文发现 contrastive self-supervised learning 的数据表示倾向于在单位超球面上均匀分布，这导致其比 supervised learning 更容易受到干扰，作者提出了一种有效的方法来检测与消除训练中的 false negative pairs，并将其应用于对比自监督学习中，成功缩小了对抗鲁棒性方面与 supervised learning 之间的差距，提高了模型的性能。

Jul, 2022

对抗性自监督对比学习

本文提出一种新的对未标记数据的敌对攻击方法，并提出了一种自监督对比学习框架来实现无标记数据的敌对训练，旨在最大化数据样本的随机扩增和其实例级对抗扰动之间的相似度。我们在多个基准数据集上验证了我们的方法，发现它在鲁棒精度方面与最先进的有监督敌对学习方法相当，并且对于黑盒和未知类型的攻击具有显着的提高鲁棒性。此外，通过进一步联合微调有监督对抗损失，我们的方法可以获得更高的鲁棒精度，特别是在鲁棒迁移学习方面取得了令人瞩目的结果。

Jun, 2020

预训练语言模型微调的监督对比学习

通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

Nov, 2020

双重对比学习：基于标签感知数据增强的文本分类

本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

Jan, 2022