May, 2020

无监督表示的原型对比学习

PDF
TL;DR该论文介绍了原型对比学习（PCL）这一无监督表示学习方法，PCL 不仅学习用于实例区分的低级特征，更重要的是它隐含地将数据的语义结构编码到了学习的嵌入空间中，该方法通过增加原型作为潜在变量来寻找最大似然估计，提出了一种基于对比学习的通用损失函数 ProtoNCE loss，此方法在多个基准测试中的表现均优于当前最先进的基于实例对比学习方法，在低资源转移学习方面有了显著的改进。
prototypical contrastive learningunsupervised representation learningsemantic structureslatent variablesprotonce loss
发现论文，激发创造
  • 通过对齐、均匀性和相关性重新思考原型对比学习

    本文引入 PAUC 方法来学习基于原型的对比表示，以优化下游任务中需要强语义信息的有意义的表示。在各个基准测试中，实验结果证明了我们的方法在提高对比原型表示的质量方面的有效性，并在 ImageNet-100 数据集上将分类下游任务的性能提高了 2.96％，在 ImageNet-1K 数据集上提高了 2.46％。

    Oct, 2022

  • PRCL: 半监督语义分割的概率表示对比学习

    通过对半监督语义分割进行对比学习取得了巨大突破，但是由于有限的注释，模型自身生成的无标签图像上的引导 inevitably 存在噪音，扰乱了无监督训练过程。为了解决这个问题，我们提出了一个强大的基于对比的 S4 框架，称为概率表示对比学习 (PRCL) 框架来增强无监督训练过程的鲁棒性。我们将逐像素表示建模为多元高斯分布的概率表示 (PR), 并通过调整模糊表示的贡献度来容忍对比学习中的不准确引导的风险。此外，我们通过收集整个训练过程中所有 PR 生成全局分布原型 (GDP)。由于 GDP 包含相同类别的所有表示的信息，它在表示中即使存在噪声也是鲁棒的，并且承载着表示的类内差异。此外，我们基于 GDP 生成虚拟负样本 (VNs) 来参与对比学习过程。在两个公开基准测试上进行的大量实验证明了我们 PRCL 框架的优越性。

    Feb, 2024

  • PCL: 多样增强的同行对比学习用于无监督句子嵌入

    本文提出了一种多增强策略下的同伴对照学习（PCL），以构造对比配对并构建无监督的句子嵌入，其表现优于其他与之竞争的句子嵌入方法。

    Jan, 2022

  • 基于贝叶斯学习的原型对比损失函数在类别增量学习中的应用

    我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

    May, 2024

  • 基于校准的双原型对比学习方法在领域泛化的语义分割中的应用

    提出了一种基于校准的双原型对比学习方法，用于减少学习类别无关特征与不同域原型之间的域差异，对于域泛化语义分割，通过不确定性引导的对比学习和加权对比学习来校准原型权重，实验证明该方法在域泛化语义分割任务上具有优越性能。

    Sep, 2023

  • 迈向一个统一的对比学习框架以实现解耦表征

    通过对多种对比方法的理论分析，本论文扩展了有关数据表达的对比学习的理论保证，并验证了这些发现在多个基准数据集上的实际有效性。

    Nov, 2023

  • 基于重要性采样和原型 - 实例关系蒸馏的对比持续学习

    基于对比学习的连续学习方法，该研究提出了基于重放缓冲区选择（RBS）的对比连续学习方法以确保知识的保留，并使用原型 - 实例关系蒸馏（PRD）损失来维护样本表示与原型之间的关系，实验证明该方法在在线环境中有效消除灾难性遗忘问题。

    Mar, 2024

  • 视觉表征学习的互惠对比学习

    Mutual Contrastive Learning (MCL) is a powerful method for improving feature representations for visual recognition tasks through the mutual interaction and transfer of contrastive distributions among a cohort of networks, achieved through the use of Interactive Contrastive Learning (ICL) to aggregate cross-network embedding information.

    Apr, 2021

  • 使用提示派生虚拟语义原型的对比学习，用于无监督语句嵌入

    本文提出了一种新的对比学习方法，使用提示词构建每个实例的虚拟语义原型，并通过负面提示形式派生负面原型，通过原型对比损失，将锚定的句子嵌入与其对应的语义原型相近，并与负面原型及其他句子的原型相距较远。实验结果表明，与强基线模型相比，我们提出的方法在语义文本相似性、转移和聚类任务上效果显著。

    Nov, 2022

  • 监督对比损失的神经坍缩几何工程

    我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法，通过使用原型在每个批次中引导学习嵌入和原型的几何一致性，并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。

    Oct, 2023