具有广义对比损失的半监督对比学习及其在说话人识别中的应用
该研究提出了一种适用于部分标记数据的对比损失函数 SemiCon,并通过利用无标签数据流训练的基于记忆的方法来证明了其有效性。在 Split-CIFAR10 和 Split-CIFAR100 数据集上,与现有的半监督方法相比,我们的方法在可用很少的标签时效果更佳,只使用了 2.6%的标签和 10%的标签,就可以获得与最新的监督方法相似的结果。
Jul, 2022
本文提出了一种利用 Graph Contrastive Learning 无人工标注学习图形表示的新范式,并通过对一系列基准任务和各种领域的数据集进行广泛、可控的实验,研究不同的 GCL 组件之间的相互作用,得出了一套有效 GCL 的一般特性与实现技巧。
Sep, 2021
本文提出了一种 Mixed Supervised Graph Contrastive Learning for Recommendation (MixSGCL) 方法,通过将推荐和无监督对比损失的训练整合为一个监督对比学习损失,解决了当前基于图对比学习的推荐系统中优化方向不一致的问题,并通过节点和边的混合使得系统能够从现有的用户 - 物品交互中挖掘更多的直接监督协同过滤信号,从而提高了准确性和效率。
Apr, 2024
本文提出一种半监督对比学习 (Semi-supervised Contrastive Learning,简称 SsCL) 的训练策略,将自监督学习中著名的对比损失与半监督学习中的交叉熵损失相结合,进而联合优化两个目标,并使用神经网络来实现。结果表明,SsCL 产生了更具有区分性的表示,并对于少样本学习非常有益。在使用 ResNet50 作为后端的 ImageNet 数据集上,SsCL 分别以 1% 和 10% 的标记样本获得了 60.2% 和 72.1% 的 top-1 精度,这比基线要好得多,也优于以前的半监督学习和自监督学习方法。
May, 2021
我们的研究全面审视了自我监督学习方法的缺点,并提供了关于超参数选择和下游任务评估对图对比学习方法的影响的新观点。此外,我们引入了一个改进的评估框架,旨在更准确地评估图对比学习方法的有效性、一致性和整体能力。
Feb, 2024
我们提供了一个大规模的数据集,以促进未来的研究和评估,随后我们提出了一种用于多模态检索和排序的广义对比学习方法 (GCL),其设计用于从细粒度排序中学习,实验结果表明,与基线模型 CLIP 相比,GCL 在域内任务中的 NDCG@10 增加 94.5%,在冷启动评估中增加了 26.3 至 48.8%。
Apr, 2024
本文提出了一个名为 GCL-GE 的指标来衡量图对比学习 GCL 的一般化能力,并通过信息理论的角度理论上证明了一个互信息的上界。基于这个证明,我们设计了一个名为 InfoAdv 的 GCL 框架,该框架具有增强的一般化能力,在预训练任务适配和下游任务的一般化能力之间取得了平衡,并在各种基准测试中取得了最先进的性能。
Nov, 2022
通过构建 SCL 算法,并将其应用到先前基于 RoBERTa-Large 模型的建议中,提出了一种新的有监督对比学习优化目标,用于自然语言理解任务的微调,在少样本学习设置下,相比于传统 CE 损失函数,该方法在多个数据集上均有显著的改进,可以更好地处理数据噪音并更好地推广至相关任务。
Nov, 2020
本文提出了一种基于拓扑信息增益感知的图对比学习框架 (TIFA-GCL),该框架考虑了图中注释信息分布的不均匀性,可以在半监督节点分类任务中带来比现有图对比学习方法更大的改进。
Dec, 2020