Jan, 2021

对比原型学习与增强嵌入的少样本学习

PDF
TL;DR本文提出了一种名为 CPLAE 的模型，采用对数据增广和聚类原型的中心化对比损失的方法，用于解决在 few-shot 学习中支持集训练数据不足的问题，并在多个基准测试上实现了新的最先进水平。
few-shot learningmeta-learningcontrastive prototype learningdata augmentationstate-of-the-art
发现论文，激发创造
  • 对比学习的少样本分类

    本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

    Sep, 2022

  • 视觉 - 语义对比对齐在小样本图像分类中的应用

    本文介绍了一种对称的对齐机制，用于学习从极少的例子中获取更广义的视觉概念的方法。实验结果表明，该方法是通用的，并提供了一个强大的基准。

    Oct, 2022

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 监督对比原型学习：无数据增强的强鲁棒神经网络

    通过引入 supervised contrastive prototyping learning 框架，可以提高 DNN 模型的鲁棒性和学习 nuance 不变性表示，在样本高效、不需要 sample mining 的情况下可以替代 softmax 分类器头，实现更好的干扰和样本鲁棒性。

    Nov, 2022

  • PCL: 多样增强的同行对比学习用于无监督句子嵌入

    本文提出了一种多增强策略下的同伴对照学习（PCL），以构造对比配对并构建无监督的句子嵌入，其表现优于其他与之竞争的句子嵌入方法。

    Jan, 2022

  • 配合伙伴学习的少样本图像分类

    本文提出了一种两阶段的训练策略 Partner-Assisted Learning（PAL）用于 Few-shot Learning，通过训练伙伴编码器和主编码器来获得基本表示，并设计对数输出和特征级别的对齐约束，从而在几个基准测试中一致优于最先进的方法。

    Sep, 2021

  • 使用提示派生虚拟语义原型的对比学习，用于无监督语句嵌入

    本文提出了一种新的对比学习方法，使用提示词构建每个实例的虚拟语义原型，并通过负面提示形式派生负面原型，通过原型对比损失，将锚定的句子嵌入与其对应的语义原型相近，并与负面原型及其他句子的原型相距较远。实验结果表明，与强基线模型相比，我们提出的方法在语义文本相似性、转移和聚类任务上效果显著。

    Nov, 2022

  • 无监督表示的原型对比学习

    该论文介绍了原型对比学习（PCL）这一无监督表示学习方法，PCL 不仅学习用于实例区分的低级特征，更重要的是它隐含地将数据的语义结构编码到了学习的嵌入空间中，该方法通过增加原型作为潜在变量来寻找最大似然估计，提出了一种基于对比学习的通用损失函数 ProtoNCE loss，此方法在多个基准测试中的表现均优于当前最先进的基于实例对比学习方法，在低资源转移学习方面有了显著的改进。

    May, 2020

  • Few-Shot 分类的空间对比学习

    本文探讨使用反差学习作为辅助训练目标来促进更通用和可转移的特征，在此基础上提出了一种基于注意力的空间反差目标来学习本地区分和类别不可知特征。通过大量实验证明了该方法优于最先进的方法，证实了学习良好、可转移的嵌入在 few-shot 学习中的重要性。

    Dec, 2020

  • 利用潜在原型的对比增强学习进行少样本分割

    本文提出了一种利用潜在原型的对比增强方法来提高 few-shot 分割模型性能的方法，通过采样模块生成伪掩模和新的原型，从而提高原型和查询特征之间的相似性信息的利用率，并通过对比增强模块来提高预测性能。实验证明，该方法在 Pascal-5^i 和 COCO-20^i 的 1-shot 和 5-shot 分割任务中的性能明显优于现有方法，尤其在 5-shot 任务中，性能分别比基准提高了 5.9% 和 7.3%。

    Mar, 2022