通过原型散射和正样本采样学习聚类表示
本研究提出了一种名为 PIPCDR 的全新端到端深度聚类方法,它同时利用对比方法和非对比技术的优势,解决了类碰撞问题和聚类崩溃问题,通过正样本邻近损失和聚类分散正则化器实现了生成良好分离聚类和均匀表示的目标,并在大规模数据集上取得了最新的技术成果。
Nov, 2023
该论文介绍了原型对比学习(PCL)这一无监督表示学习方法,PCL 不仅学习用于实例区分的低级特征,更重要的是它隐含地将数据的语义结构编码到了学习的嵌入空间中,该方法通过增加原型作为潜在变量来寻找最大似然估计,提出了一种基于对比学习的通用损失函数 ProtoNCE loss,此方法在多个基准测试中的表现均优于当前最先进的基于实例对比学习方法,在低资源转移学习方面有了显著的改进。
May, 2020
本文提出了一个基于概率理论的 Probabilistic Representation Contrastive Learning(PRCL)框架,通过将像素到表示的映射建模为多维高斯分布的概率,可以调节不确定性表示的贡献,提高表示的可靠性,从而提高了语义分割的性能,并在 Pascal VOC 和 CityScapes 上进行了充分的实验验证。
Oct, 2022
实时更新群组划分的动态分组和原型聚合的深度聚类框架有效地利用紧凑的群内连接、相互分离的聚类和高效的群组更新,通过自我监督训练在球面特征空间上执行原型聚合的对比学习,取得了优于最先进方法的卓越性能。
Jan, 2024
本文引入 PAUC 方法来学习基于原型的对比表示,以优化下游任务中需要强语义信息的有意义的表示。在各个基准测试中,实验结果证明了我们的方法在提高对比原型表示的质量方面的有效性,并在 ImageNet-100 数据集上将分类下游任务的性能提高了 2.96%,在 ImageNet-1K 数据集上提高了 2.46%。
Oct, 2022
通过对半监督语义分割进行对比学习取得了巨大突破,但是由于有限的注释,模型自身生成的无标签图像上的引导 inevitably 存在噪音,扰乱了无监督训练过程。为了解决这个问题,我们提出了一个强大的基于对比的 S4 框架,称为概率表示对比学习 (PRCL) 框架来增强无监督训练过程的鲁棒性。我们将逐像素表示建模为多元高斯分布的概率表示 (PR), 并通过调整模糊表示的贡献度来容忍对比学习中的不准确引导的风险。此外,我们通过收集整个训练过程中所有 PR 生成全局分布原型 (GDP)。由于 GDP 包含相同类别的所有表示的信息,它在表示中即使存在噪声也是鲁棒的,并且承载着表示的类内差异。此外,我们基于 GDP 生成虚拟负样本 (VNs) 来参与对比学习过程。在两个公开基准测试上进行的大量实验证明了我们 PRCL 框架的优越性。
Feb, 2024
本文提出了 ClusterNS 这一新的对比学习方法,将聚类信息引入负样本选择,同时使用改进的 K 均值聚类算法提供难负样本和识别批内的假负样本,以解决这一问题。实验表明我们的方法在无监督句子表示学习方面的性能优于基线模型,在语义文本相似度任务上表现出色。
May, 2023
本文提出了一种数据挖掘算法,利用强理论保证在任何对称正定核情况下找到代表性原型和批评(即异常值),并演示了其在零售、MNIST 数字识别和 CDC 数据集上的实际应用效果。
Jul, 2017
提出了一种名为 Positive-Unlabeled Contrastive Learning(PUCL)的新型对比学习方法,通过将负样本视为无标签样本,并利用正样本信息来修正对比损失,从而纠正了负采样偏差并提高了性能。
Jan, 2024
本文介绍了一种基于 Hough 空间的对比学习方法,可以实现对于密集预测任务的图像级自我监督学习的表征有效性,并且相对于之前的方法,能够更好地应对背景混杂和异常值问题。
Nov, 2021