Oct, 2023

SAMCLR：利用SAM进行视图采样的复杂场景对比式预训练

HTML
PDF
TL;DR在计算机视觉中，自监督对比学习通过使同一图像的不同视图具有类似的表示来实现。我们提出了SAMCLR，它是SimCLR的一个附加部分，使用SAM将图像分割成语义区域，然后从同一区域采样两个视图。初步结果表明，在Cityscapes和ADE20K上进行预训练，然后在CIFAR-10、STL10和ImageNette上进行分类评估时，SAMCLR不仅与SimCLR、DINO和MoCo相当，而且往往明显优于它们。
发现论文，激发创造
  • 视觉表示对比学习的简单框架

    SimCLR是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在ImageNet数据集上实现了比以往方法更好的自监督和半监督学习结果。

    Feb, 2020

  • 从朋友那儿获取帮助：最近邻对比学习视觉表示

    NNCLR是一种基于最近邻对比学习的自监督学习算法，将数据集中最近邻作为正样本而不是图像的不同视角，能够提供比预定义的变换更多的语义变化，达到了在ImageNet分类和迁移学习基准测试中超越现有先进方法的效果。此外，该方法的鲁棒性能更好，对于数据变换的依赖性更小。

    Apr, 2021

  • 无监督学习视觉表示的对比方法再探

    本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

    Jun, 2021

  • RegionCL：简单区域交换是否有助于对比学习？

    本文针对自我监督学习方法中图片裁剪技术的局限提出了一种叫做区域对比学习的新预处理方法，其通过最大程度利用所裁剪出的画面和其余部分来提高视觉表示的表现，并在ImageNet，MS COCO和Cityscapes等数据集上实现了最先进性能的效果。

    Nov, 2021

  • 密集预测任务的多级对比学习

    本文介绍了一种名为Multi-Level Contrastive Learning for Dense Prediction Task (MCL)的自监督学习方法，该方法通过实现一种装配多尺度图像的贡献任务，显式地编码绝对位置和比例信息，从而使神经网络能够学习区域语义表示。实验表明，MCL在各种数据集上始终优于最新的现有方法。

    Apr, 2023

  • 无需补丁对应的补丁级对比，以实现准确和稠密的对比表示学习

    ADCLR 提出了一种新的自监督学习框架，能够实现准确、密集的视觉表示学习，对比实验表明该方法优于其他基于对比学习的方法。

    Jun, 2023

  • pNNCLR：用于基于对比学习的无监督表示学习问题的随机伪邻域

    通过引入伪最近邻和平滑权重更新方法，改进了基于最近邻的自监督学习方法，提升了性能。

    Aug, 2023

  • 解决多视角表示学习中的样本效率问题

    根据对BarlowTwins和VICReg损失的隐含偏差的理论洞察，我们提供了更具原则性的建议，指导非对比自监督学习方法的发展，并推荐使用低维度的投影器头和多个数据增强来提高样本和计算效率。

    Dec, 2023

  • BECLR: 批量增强对比式少样本学习

    用于无监督少样本学习的动态聚类内存模块(DyCE)和基于优化传输的分布对齐策略(OpTA)构成的全新端到端方法(BECLR)，在现有的无监督少样本学习基准中取得了新的最优表现，明显优于当前最佳基准。

    Feb, 2024

  • LeOCLR: 利用原始图像进行对比学习视觉表征

    本论文引入了LeOCLR（Leveraging Original Images for Contrastive Learning of Visual Representations），一种新的实例辨识方法和适应的损失函数，以保证正样本之间的共享区域在语义上是正确的，实验证明我们的方法在不同数据集上始终比基线模型改进了表征学习。 例如，在线性评估中，我们的方法在ImageNet-1K上比MoCo-v2提高了5.1％，在迁移学习任务中也超过了其他几种方法。

    Mar, 2024