pNNCLR:用于基于对比学习的无监督表示学习问题的随机伪邻域
NNCLR 是一种基于最近邻对比学习的自监督学习算法,将数据集中最近邻作为正样本而不是图像的不同视角,能够提供比预定义的变换更多的语义变化,达到了在 ImageNet 分类和迁移学习基准测试中超越现有先进方法的效果。此外,该方法的鲁棒性能更好,对于数据变换的依赖性更小。
Apr, 2021
本文重新思考了对比学习方法中二元实例判别的不足之处,提出了基于相关实例(即软近邻)的对比学习方法(SNCLR),该方法有效地提高了 VIT 和 CNN 编码器中的特征表示,从图像分类、目标检测和实例分割三个标准视觉识别基准方面得到了验证。
Mar, 2023
通过引入最近邻样本和图像混合操作,该研究提出了一种名为 MNN 的简单自监督学习框架,优化了最近邻样本对正样本语义的影响,展示了在四个基准数据集上出色的泛化性能和训练效率。
Nov, 2023
利用 CLIP 模型的协作样本选择及预训练,并通过对 prompt 的微调以及协同训练 DNN 分类器,解决在学习有噪声标签的过程中由于样本选择错误累积导致的 DNN 训练偏见和泛化性能问题。
Oct, 2023
本文探讨了无监督自学习对偶损失模型(SSCL)的理论基础,提出了在随机邻居嵌入(SNE)视角下,使用数据增强构建 “正” 偶对实现了对输入空间对比度的优化,通过与 SNE 对应,进一步提供了方法学指导并证明了使用域不可知增强与隐式偏见得到的潜在优势,同时证明了从 SNE 到 t-SNE 转换的适用性并在实验中取得了相应的优化效果。
May, 2022
在保留数据集邻近信息的范围内,我们将自监督对比方法扩展到完全监督的设置,以有效利用标签信息。属于同一类别的样本集群在低维嵌入空间中聚集在一起,同时将不同类别的样本集群推开。
Sep, 2023
该论文提出了一种 Pseudo Contrastive Learning (PCL) 的通用框架,该框架通过生成可靠的对比对来解决生成高质量伪标签的问题,通过对负样本进行 dropout 来实现数据增强。 最终,实验证明该方法在五个真实世界的图上均优于其他普遍技术。
Feb, 2023
提出了一种名为 CCSSL 的半监督学习方法,采用类别聚类和图像对比改善模型的伪标签质量和在真实世界中的鲁棒性,并通过目标重新加权实现了干净标签学习和减少噪声标签学习。实验表明其在多个数据集上均取得了显著的性能提升。
Mar, 2022
通过对半监督语义分割进行对比学习取得了巨大突破,但是由于有限的注释,模型自身生成的无标签图像上的引导 inevitably 存在噪音,扰乱了无监督训练过程。为了解决这个问题,我们提出了一个强大的基于对比的 S4 框架,称为概率表示对比学习 (PRCL) 框架来增强无监督训练过程的鲁棒性。我们将逐像素表示建模为多元高斯分布的概率表示 (PR), 并通过调整模糊表示的贡献度来容忍对比学习中的不准确引导的风险。此外,我们通过收集整个训练过程中所有 PR 生成全局分布原型 (GDP)。由于 GDP 包含相同类别的所有表示的信息,它在表示中即使存在噪声也是鲁棒的,并且承载着表示的类内差异。此外,我们基于 GDP 生成虚拟负样本 (VNs) 来参与对比学习过程。在两个公开基准测试上进行的大量实验证明了我们 PRCL 框架的优越性。
Feb, 2024