置换聚类分配的对抗性对比学习
本文介绍了一种在线聚类算法 SwAV,在不需要计算成对对比的基础上,通过使用一种被称为预测机制的方式来建立视图之间的一致性,并提出了一种新的数据增强策略多裁剪,在 ImageNet 数据集上达到 75.3%的 top-1 准确率,并超出了所有考虑的迁移任务的监督预训练。
Jun, 2020
本文提出一种新的对未标记数据的敌对攻击方法,并提出了一种自监督对比学习框架来实现无标记数据的敌对训练,旨在最大化数据样本的随机扩增和其实例级对抗扰动之间的相似度。我们在多个基准数据集上验证了我们的方法,发现它在鲁棒精度方面与最先进的有监督敌对学习方法相当,并且对于黑盒和未知类型的攻击具有显着的提高鲁棒性。此外,通过进一步联合微调有监督对抗损失,我们的方法可以获得更高的鲁棒精度,特别是在鲁棒迁移学习方面取得了令人瞩目的结果。
Jun, 2020
通过对比自监督学习与 supervised learning 在对抗鲁棒性上的表现,本文发现 contrastive self-supervised learning 的数据表示倾向于在单位超球面上均匀分布,这导致其比 supervised learning 更容易受到干扰,作者提出了一种有效的方法来检测与消除训练中的 false negative pairs,并将其应用于对比自监督学习中,成功缩小了对抗鲁棒性方面与 supervised learning 之间的差距,提高了模型的性能。
Jul, 2022
本文提出了一个新的方法,通过增加对抗性转换和边缘插入的方式来增加学到的表征的对抗鲁棒性,旨在将鲁棒性作为图对比学习中的可行辅助任务。初始实验结果表明该方法具有很好的前景。
Feb, 2021
提出了一种基于弱监督对比学习的框架 (WCL),该框架使用两个投影头进行正则的实例区分任务,一头使用基于图形的方法找到相似的样本并生成弱标签,另一头使用这些弱标签进行有监督的对比学习任务,以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题,并在不同的数据集上提高了自监督表示品质,尤其是在半监督学习中达到了新的最优结果。
Oct, 2021
本文介绍了一种新的神经网络训练框架,通过将对比学习与对抗训练相结合,增强了模型对对抗攻击的鲁棒性,同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性,并使用 CIFAR-10 数据集验证了他们的方法,发现其优于其他监督和自监督方法。
Mar, 2022
本文提出了一种针对对抗性对比学习的新算法 CLAE,通过使用对抗性样本增强数据并在优化时考虑一个批次中的所有图片,能够更好地定义正负样本,充分提高自监督学习任务的性能和学习能力。
Oct, 2020
本文探索了对比学习框架中注入对抗扰动的方法,以提高其在无监督下的自我训练的鲁棒性表现。实验表明,该方法可以实现在无标签数据集下的有效增强,从而大幅提升半监督学习的表现。
Oct, 2020
SWCC 是一种同步弱监督对比学习和聚类框架,用于事件表示学习,通过利用事件的共现信息学习事件表示,同时进行弱监督对比学习和基于原型的聚类。实验结果表明,SWCC 在 Hard Similarity 和 Transitive Sentence Similarity 任务上优于其他基线。
Mar, 2022
本文提出了一种新的自适应增强方法,通过设计基于节点中心性和节点属性的增强策略来保留图的内在结构和属性信息,并验证此方法在节点分类任务中优于现有方法和监督学习模型。
Oct, 2020