对抗样本的对比学习
本文介绍了一种新的神经网络训练框架,通过将对比学习与对抗训练相结合,增强了模型对对抗攻击的鲁棒性,同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性,并使用 CIFAR-10 数据集验证了他们的方法,发现其优于其他监督和自监督方法。
Mar, 2022
提出了一种创新的框架:对抗课程图对比学习(ACGCL),利用成对增强技术生成可控相似性的图级正负样本,并通过子图对比学习鉴别其中的有效图模式。ACGCL 框架内还设计了一种新颖的对抗课程训练方法,通过逐渐增加样本难度来促进渐进学习。最后,通过对六个知名基准数据集进行全面评估,ACGCL 显著超过一组最先进的基准。
Feb, 2024
提出了一种名为 Positive-Unlabeled Contrastive Learning(PUCL)的新型对比学习方法,通过将负样本视为无标签样本,并利用正样本信息来修正对比损失,从而纠正了负采样偏差并提高了性能。
Jan, 2024
本文提出了一种特征级方法,即采样合成难负样本用于对比学习(SSCL),以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本,然后通过控制锚定样本与其他负样本的对比度的方式进行采样,并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能,并可以轻松集成到现有方法中。
Apr, 2023
本研究利用 DualCL 框架将分类器参数作为增广样本,与输入样本结合运用对比学习方法,在五个基准文本分类数据集上表现出较高的分类准确性,并证实了 DualCL 框架在学习具有判别性的表示方面的能力。
Jan, 2022
本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法(DCL),并对其进行了在多种基准测试中的复现和实时检验,最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。
Oct, 2021
本研究提出了一种名为 CLINE 的方法,该方法使用语义负例构建对抗训练以提高预训练语言模型在面对语义攻击时的鲁棒性,并通过不同语义的比较来有效感知这种攻击所造成的语义变化。实验结果表明,该方法在情感分析、推理和阅读理解任务方面均有显著的改进。
Jul, 2021
通过对比自监督学习与 supervised learning 在对抗鲁棒性上的表现,本文发现 contrastive self-supervised learning 的数据表示倾向于在单位超球面上均匀分布,这导致其比 supervised learning 更容易受到干扰,作者提出了一种有效的方法来检测与消除训练中的 false negative pairs,并将其应用于对比自监督学习中,成功缩小了对抗鲁棒性方面与 supervised learning 之间的差距,提高了模型的性能。
Jul, 2022
该研究提出了一种名为 Contrastive Learning with Stronger Augmentations(CLSA)的新的对比学习方法,利用数据扩增引入样本多样性,从而提高检索能力,实验结果表明该方法在 ImageNet 数据集上的表现接近有监督结果。
Apr, 2021