Oct, 2022

通过对齐、均匀性和相关性重新思考原型对比学习

PDF
TL;DR本文引入 PAUC 方法来学习基于原型的对比表示，以优化下游任务中需要强语义信息的有意义的表示。在各个基准测试中，实验结果证明了我们的方法在提高对比原型表示的质量方面的有效性，并在 ImageNet-100 数据集上将分类下游任务的性能提高了 2.96％，在 ImageNet-1K 数据集上提高了 2.46％。
contrastive self-supervised learningprototypical regularizationpaucembedding spacelinear probes
发现论文，激发创造
  • 无监督表示的原型对比学习

    该论文介绍了原型对比学习（PCL）这一无监督表示学习方法，PCL 不仅学习用于实例区分的低级特征，更重要的是它隐含地将数据的语义结构编码到了学习的嵌入空间中，该方法通过增加原型作为潜在变量来寻找最大似然估计，提出了一种基于对比学习的通用损失函数 ProtoNCE loss，此方法在多个基准测试中的表现均优于当前最先进的基于实例对比学习方法，在低资源转移学习方面有了显著的改进。

    May, 2020

  • 推荐系统中的原型对比学习：通过对齐和一致性实现

    通过在潜在空间中提出原型 (簇中心) 作为多样性图形的不同扩充的一致性基准，我们介绍了一种名为 ProtoAU 的推荐方法，它通过排序和保持用户和项目的原型的一致性以及统一性来解决了图对比学习中的采样偏差问题。

    Feb, 2024

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 监督对比原型学习：无数据增强的强鲁棒神经网络

    通过引入 supervised contrastive prototyping learning 框架，可以提高 DNN 模型的鲁棒性和学习 nuance 不变性表示，在样本高效、不需要 sample mining 的情况下可以替代 softmax 分类器头，实现更好的干扰和样本鲁棒性。

    Nov, 2022

  • 监督对比损失的神经坍缩几何工程

    我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法，通过使用原型在每个批次中引导学习嵌入和原型的几何一致性，并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。

    Oct, 2023

  • 基于校准的双原型对比学习方法在领域泛化的语义分割中的应用

    提出了一种基于校准的双原型对比学习方法，用于减少学习类别无关特征与不同域原型之间的域差异，对于域泛化语义分割，通过不确定性引导的对比学习和加权对比学习来校准原型权重，实验证明该方法在域泛化语义分割任务上具有优越性能。

    Sep, 2023

  • 对比原型学习与增强嵌入的少样本学习

    本文提出了一种名为 CPLAE 的模型，采用对数据增广和聚类原型的中心化对比损失的方法，用于解决在 few-shot 学习中支持集训练数据不足的问题，并在多个基准测试上实现了新的最先进水平。

    Jan, 2021

  • 通过超球面上的对准和均一性理解对比表示学习

    文章证明了反差编码的损失函数在无限时刻能够最优化归一化特征空间的相似度与均匀分布，并通过实验优化这两个特征的评估，在视觉和语言数据上显著提高效果。

    May, 2020

  • 基于对比学习和原型学习的跨语言命名实体识别自训练改进

    本文提出了一种名为 ContProto 的跨语言命名实体识别的自我训练框架，大大提高了伪标签的准确性和不同语言间的转移能力，并在实验中展现了高于现有技术的表现。

    May, 2023

  • 基于贝叶斯学习的原型对比损失函数在类别增量学习中的应用

    我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

    May, 2024