Aug, 2023

中心对比损失度量学习

PDF
TL;DR提出了一种名为 “中心对比损失” 的新型度量学习函数，通过对比损失使用类别中心来将查询数据点与类别中心进行比较，并实时更新类别中心以提高模型收敛速度，通过减少类内变异和增强类间差异来改善嵌入的鉴别能力，实验结果表明，使用该损失函数训练的标准网络（ResNet50）在性能和收敛速度方面达到了最先进水平。
contrastive learningmetric learningcenter contrastive lossclass-wise center banksupervisory signal
发现论文，激发创造
  • 深度神经网络的对比中心损失

    本文提出了一种新的辅助监督信号 —— 对比中心损失，它能够进一步增强特征的区分能力，通过惩罚训练样本到它们对应类别中心距离的对比值和样本到非对应类别中心距离之和的对比值同时考虑了类内紧凑性和类间可分性。在不同的数据集上的实验证明了对比中心损失的有效性。

    Jul, 2017

  • 监督对比学习

    本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

    Apr, 2020

  • 多相似性对比学习

    基于多个相似性度量的新型多相似性对比损失（MSCon）提供了在不同相似关系下学习可推广嵌入的方法，通过自动学习对应相似性的对比权重，降低不确定任务的影响，从而在内部和外部领域中优于最先进的基准模型。

    Jul, 2023

  • 多视角 3D 物体检索的三元中心损失

    研究了在三维目标检测中，利用不同的深度度量学习方法来提高检索效果的效果，并针对性的提出了三种不同的模型评估方式 —— 三元组损失、中心损失和三元组 - 中心损失，进行了广泛的实验验证和效果评估，最终和已有领先算法进行了效果对比。

    Mar, 2018

  • 基于贝叶斯学习的原型对比损失函数在类别增量学习中的应用

    我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

    May, 2024

  • 基于对比学习的混合网络用于长尾图像分类

    本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

    Mar, 2021

  • 参数对比学习

    本文提出 Parametric Contrastive Learning（PaCo）来解决长尾识别问题，通过引入一组类内可学习参数来重新平衡优化，PaCo 可以自适应地提高将同类样本推向一起的强度，并造福于难度样本学习。实验表明，使用 PaCo loss 在长尾 CIFAR，ImageNet，Places 和 iNaturalist 2018 上具有新的领先水平。

    Jul, 2021

  • 对比学习作为核逼近

    通过对无标签数据进行对比学习，可以生成低维的特征向量表示，这些特征向量可以作为输入来提高有标签数据上的监督学习系统的准确性，并探讨了对比损失函数的最小化器及其与以往学习无标签数据方法的关系。

    Sep, 2023

  • 多模态学习中对比损失的重要性

    通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

    Apr, 2023

  • 对比学习的隐私风险量化与减轻

    本文针对对比度学习的隐私问题进行了首次隐私分析，实验结果表明，相对于监督学习模型，对比学习模型更易受到属性推断攻击，但其会导致的成员推断攻击风险较小。为解决这一问题，提出了一种新的隐私保护对比度学习机制 Talos，通过对抗式训练成功地缓解了属性推断威胁，同时保持了其成员隐私和模型效用。

    Feb, 2021