对比学习是基于相似度图的谱聚类
本文探讨了如何通过核心对比学习框架(KCL)的统计依赖性视角计算已学习的表示的相似性结构并研究了该框架的理论特性,包括分类错误上界的新证明和通向下游分类任务的 KCL 泛化性能保证。
Apr, 2023
本文提出了一种基于数据增强图的对比学习新概念,该概念能够以神经网络表示为对比学习目标提供详细的光谱分解损失,并在理论上证明了具有可验证的精度保证的特征学习方法,同时以实验证明其与一些强大基线方法相当或更好地匹配在基准视觉数据集上。
Jun, 2021
本文提出一种半监督对比学习 (Semi-supervised Contrastive Learning,简称 SsCL) 的训练策略,将自监督学习中著名的对比损失与半监督学习中的交叉熵损失相结合,进而联合优化两个目标,并使用神经网络来实现。结果表明,SsCL 产生了更具有区分性的表示,并对于少样本学习非常有益。在使用 ResNet50 作为后端的 ImageNet 数据集上,SsCL 分别以 1% 和 10% 的标记样本获得了 60.2% 和 72.1% 的 top-1 精度,这比基线要好得多,也优于以前的半监督学习和自监督学习方法。
May, 2021
该论文提出了 SCCL 框架,使用对比学习来帮助无监督聚类,有效提升类别间距离,进而在短文本聚类中达到更好的结果。研究表明,SCCL 能够显著提高精度和归一化互信息,同时有效结合自下而上的实例判别和自上而下的聚类来实现更好的聚类效果。
Mar, 2021
本文提出了一种语义对比学习的方法(SCL),将距离的聚类结构引入到无标注数据的特征空间中,并通过优化实例视觉相似性和聚类决策边界的一致性来推理出语义上的实体类别,以在发现未知类别决策边界方面具有显着优势。实验证明,SCL 在六个物体识别基准测试中优于最先进的对比学习和深度聚类方法,尤其是在更具挑战性的精细和较大的数据集上。
Mar, 2021
本文提出了一种名为 Graph Contrastive Learning(GraphCL)的一般框架,以自我监督的方式学习节点表示,通过最大化同一节点的本地子图的内在特征和连接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入,并使用对比学习损失来最大化它们之间的一致性,证明我们的方法在节点分类基准测试中显着优于无监督学习的现有技术。
Jul, 2020
本文提出了一种新的图形无监督学习方法,名为 Graph Soft-Contrastive Learning (GSCL),它能够通过邻域排序进行自我监督学习,而无需依赖于二元对比设置,并且还提出了 GSCL 所需的成对和列表式门控排名 infoNCE 损失函数,以保留邻域中的相对排序关系。
Sep, 2022
本文研究了对比学习和监督学习方法之间数据组织的差异,关注局部密集簇的概念。我们介绍了一种新的度量方法,相对局部密度(RLD), 用于量化簇内的局部密度。通过比较对比学习和监督学习形成的聚类,我们发现对比学习生成了没有全局密度的局部密集簇,而监督学习则生成了局部和全局密度的簇。我们进一步探讨了使用图卷积网络(GCN)分类器作为处理局部密集簇的线性分类器的替代方法。最后,我们利用 t-SNE 可视化来证明对比学习和监督学习方法生成的特征之间的差异。我们提出了未来的研究方向,包括开发针对对比学习进行优化的有效分类器和创新的增强算法。
May, 2023