使用监督对比学习学习标签层次
本文提出了一种语义对比学习的方法(SCL),将距离的聚类结构引入到无标注数据的特征空间中,并通过优化实例视觉相似性和聚类决策边界的一致性来推理出语义上的实体类别,以在发现未知类别决策边界方面具有显着优势。实验证明,SCL 在六个物体识别基准测试中优于最先进的对比学习和深度聚类方法,尤其是在更具挑战性的精细和较大的数据集上。
Mar, 2021
该论文提出了 SCCL 框架,使用对比学习来帮助无监督聚类,有效提升类别间距离,进而在短文本聚类中达到更好的结果。研究表明,SCCL 能够显著提高精度和归一化互信息,同时有效结合自下而上的实例判别和自上而下的聚类来实现更好的聚类效果。
Mar, 2021
我们提出了 D-SCL,这是一种新颖的去偏差的监督对比学习目标,旨在减少标记错误引入的偏差,并证明了 D-SCL 在各种视觉基准上稳定优于最先进的表示学习技术,提供了对标签错误的改进的鲁棒性。
Nov, 2023
在图表征学习中,提出了一种新的分层对比学习 (Hierarchical Contrastive Learning, 简称 HCL) 框架,采用自适应的 L2Pool 方法进行更合理的多尺度图形拓扑构建,并采用多通道伪孪生网络来进一步扩展各级别内的互信息学习,以获得更丰富和更具层次感的表示。通过实验,HCL 在节点分类、节点聚类和图分类等 12 个数据集上均取得了具有竞争力的性能表现,并且通过可视化显示,HCL 成功捕捉到了图的有意义特征。
Oct, 2022
本文提出了一种层次化多标签表征学习框架,该框架可以利用所有可用标签并保留类别之间的层次关系,并引入新颖的层次保持损失。该方法是数据驱动的,自动适应任意多标签结构。实验表明,我们的关系保持嵌入在各种任务上表现良好,优于基线监督式和自监督式方法。
Apr, 2022
本研究利用 DualCL 框架将分类器参数作为增广样本,与输入样本结合运用对比学习方法,在五个基准文本分类数据集上表现出较高的分类准确性,并证实了 DualCL 框架在学习具有判别性的表示方面的能力。
Jan, 2022
本文通过实验证明:监督对比损失学习到的嵌入空间的几何结构形成正交框架,而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小;同时,通过选取不同的数据分组算法,加快正交框架的出现,为监督学习提供一种新的训练策略
Jun, 2023
提出了一种基于弱监督对比学习的框架 (WCL),该框架使用两个投影头进行正则的实例区分任务,一头使用基于图形的方法找到相似的样本并生成弱标签,另一头使用这些弱标签进行有监督的对比学习任务,以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题,并在不同的数据集上提高了自监督表示品质,尤其是在半监督学习中达到了新的最优结果。
Oct, 2021
本文提出一种半监督对比学习 (Semi-supervised Contrastive Learning,简称 SsCL) 的训练策略,将自监督学习中著名的对比损失与半监督学习中的交叉熵损失相结合,进而联合优化两个目标,并使用神经网络来实现。结果表明,SsCL 产生了更具有区分性的表示,并对于少样本学习非常有益。在使用 ResNet50 作为后端的 ImageNet 数据集上,SsCL 分别以 1% 和 10% 的标记样本获得了 60.2% 和 72.1% 的 top-1 精度,这比基线要好得多,也优于以前的半监督学习和自监督学习方法。
May, 2021
提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架,通过使用特定过滤规则选择更具信息量的正负样本对,利用排名信息为不同级别的正样本分配不同权重,能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界,表现出先进的分类性能。
Jan, 2024