Oct, 2023

SAMCLR：利用 SAM 进行视图采样的复杂场景对比式预训练

PDF
TL;DR在计算机视觉中，自监督对比学习通过使同一图像的不同视图具有类似的表示来实现。我们提出了 SAMCLR，它是 SimCLR 的一个附加部分，使用 SAM 将图像分割成语义区域，然后从同一区域采样两个视图。初步结果表明，在 Cityscapes 和 ADE20K 上进行预训练，然后在 CIFAR-10、STL10 和 ImageNette 上进行分类评估时，SAMCLR 不仅与 SimCLR、DINO 和 MoCo 相当，而且往往明显优于它们。
computer visionself-supervised contrastive learningsamclrsemantic regionspre-training
发现论文，激发创造
  • 视觉表示对比学习的简单框架

    SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

    Feb, 2020

  • Speech SIMCLR：将对比和重构目标相结合，实现自我监督语音表示学习

    本文提出了一种名为 Speech SimCLR 的新自监督学习方法，通过对原始语音和其频谱图进行增强，结合对比损失最大化潜在空间中不同增强样本的一致性以及输入表示的重构损失函数进行训练，取得了在语音情感识别和语音识别上的良好结果。

    Oct, 2020

  • 对比自监督学习框架及设计新方法

    通过解决先验任务从无标签数据集中选择和比较 anchor、negative 和 positive 特征来学习有用的表示，我们提出了一个概念性框架，该框架从数据增强管道、编码器选择、表示提取、相似性度量和损失函数五个方面表征对比自监督学习方法。我们分析了三种主要的 CSL 方法 - AMDIM、CPC 和 SimCLR-，并表明它们是这个框架下的特殊情况。通过设计 Yet Another DIM（YADIM），我们展示了我们框架的效用，该方法在 CIFAR-10、STL-10 和 ImageNet 上取得了竞争性结果，并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的 CSL 研究，我们发布了此概念框架的 PyTorch 实现，以及 AMDIM、CPC（V2）、SimCLR、BYOL、Moco（V2）和 YADIM 的标准化实现。

    Aug, 2020

  • 多标签图像分类的语义感知双对比学习

    通过引入样本对间对比学习和原型 - 样本对比学习，提出了一种新颖的语义感知双对比学习框架，通过联合训练三个模块，准确捕捉与图像内容相关的判别性标签级特征，并在五个具有挑战性的大规模公共数据集上实验证明了该方法的有效性优于现有技术。

    Jul, 2023

  • 空间一致的表示学习

    本论文提出了一种空间一致性表示学习算法 (SCRL)，通过几何翻转和缩放操作，采用新颖的自监督目标生成具有相关性的局部区域的一致空间表示，我们的方法比目前的监督预训练方法和最新的自监督学习方法在各种基准数据集上均表现出显著的性能改进。

    Mar, 2021

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 从模型学习视觉：模型对抗学习视觉

    通过合成图像和合成标题无需真实数据地学习视觉表征，SynCLR 方法在对合成图像进行对比学习的基础上，将得到的表征在多个下游任务中转移，与其他通用视觉表征学习算法相比，在图像分类任务中表现出色；此外，在诸如语义分割等密集预测任务中，SynCLR 比以往自监督方法有显著优势。

    Dec, 2023

  • SILC：用自我蒸馏提升视觉语言预训练

    基于对 CLIP 模型的改进，本研究提出了 SILC 方法，通过引入本地到全局对应学习来预训练模型，有效提升了计算机视觉领域中的分类、检索和分割等任务的性能，取得了零样本分类、少样本分类、图像与文本检索、无样本分割以及开放词汇分割等方面的最新技术成果。

    Oct, 2023

  • SSR：SAM 是用于领域适应语义分割的强正则化方法

    本文介绍了 SSR，它利用 SAM（任意分割）作为强正则化器，在训练过程中大大增强了处理各个领域的图像编码器的健壮性。

    Jan, 2024

  • 构建更好的对比视图，用于孪生神经网络表示学习

    提出了 ContrastiveCrop，一种用于 Siamese 表示学习的更好对比对的生成方法，该方法采用全无监督方式提出了基于语义的目标定位策略并进一步设计了中心抑制采样来扩大裁剪区域的方差，成功提高了自我监督学习中 SimCLR，MoCo，BYOL，SimSiam 等方法的分类准确率，同时在基于 ImageNet-1K 预训练的下游检测和分割任务上取得了优异的结果。

    Feb, 2022