CVPRMar, 2023

学习共同理由，提高自监督表示在细粒度视觉识别问题中的表现

PDF
TL;DR本文提出了一种名为 common rationales 的机制，将其作为特征筛选机制来增强自监督学习方法在细粒度图像识别任务中的效果，并表明该方法在四种视觉任务中均取得了显著的改进。
发现论文，激发创造
  • 一个概率模型解释自监督表示学习

    自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

    Feb, 2024

  • 自监督学习的了解：基于图像的生成与判别式训练调查

    介绍了自监督学习在图像领域的应用，包括贡献和历史视角，并提出了一些有前途的研究方向。

    May, 2023

  • 构建更好的对比句子表示学习方法：梯度的统一范式

    自监督学习在自然语言处理中的关键任务是句子表示学习，其中对比自监督学习是目前的主流方法。然而，其显著有效性背后的原因仍不清楚。本研究从梯度的角度出发，发现四种有效的对比损失可以集成到一个统一的范式中，这依赖于梯度消散、权重和比率这三个组成部分，并通过深入分析这些组件在优化中的作用，实验证明它们对模型性能的重要性，并通过调整这些组件使得非对比自监督学习在句子表示学习中取得出色的性能。

    Feb, 2024

  • 物体发现和表示网络

    Odin 是一种自我监督学习范式，通过耦合对象发现和表征网络来自主发现有意义的图像分割，而无需人工干预，可实现 COCO 目标检测、实例分割及 PASCAL、Cityscapes 的语义分割等领域的迁移学习效果，并在 DAVIS 视频分割方面超越监督预训练的方法。

    Mar, 2022

  • 自我监督表示学习的视觉地理定位

    利用自监督学习方法提升视觉地理定位技术性能和训练效率，通过统合 SimCLR、MoCov2、BYOL、SimSiam、Barlow Twins 和 VICReg 等多种自监督学习方法，研究训练策略和参数设置对视觉地理定位任务的适应性

    Jul, 2023

  • 关于半监督学习在细粒度分类中的真实评估

    本篇研究评估了半监督学习在存在严重类别不平衡和含有新类别图像的真实数据集上的有效性。研究结果表明最近提出的半监督学习方法可以利用不同类别的数据提高性能，但相较于迁移学习仍然表现不足。此外，本文证明在迁移学习中，现有的半监督学习方法在存在不同类别数据时往往是有害的。因此，标准的微调加蒸馏自训练是最健壮的方法。这些研究结论说明，对真实数据集的半监督学习可能需要不同于文献中普遍使用的方法。

    Apr, 2021

  • 从间隔的角度理解对比学习

    该论文研究了自监督学习中的对比学习策略，分析了边缘对梯度的调控作用，并提出了可能的改进方向，实验证明这些特性有助于获取更好的表征，并能够提高在数据集中的性能表现。

    Jun, 2023

  • 几何调和解决表征学习差异

    在应对长尾分布的真实世界应用中，我们提出了一种新颖的几何调和（GH）方法，通过在表示学习中鼓励类别级别的均匀性，更有利于少数类别，几乎不损害大多数类别，从而解决了现有方法难以获得可迁移和稳健表示的问题。

    Oct, 2023

  • 大多数自监督学习方法背后的共同稳定性机制

    通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

    Feb, 2024

  • 一种通用的自监督学习 (SSL) 框架，用于从未标记的遥感图像的光谱 - 空间特征中进行表征学习

    本研究设计了一种新的自监督学习框架，可以从未标记数据的光谱 - 空间信息中学习表示，并通过两个典型的下游任务评估证明，所提出的 SSL 获得了模型性能的显著提高。

    Jun, 2023