Dec, 2020

分层组合自监督视觉表示学习

PDF
TL;DR本文提出了一种从原始视觉分组能力启动视觉表示学习的框架，操作化分组通过轮廓检测器，该检测器将图像分割成区域，并将这些区域合并成树形层次结构。实验表明，我们的方法朝着通用预训练方法的方向发展，其对下游任务有益，并可用于语义区域搜索和基于视频的对象实例跟踪。
visual representation learningcontour detectorself-supervised feature learningsemantic region searchobject instance tracking
发现论文，激发创造
  • 利用语义分组进行自监督视觉表示学习

    本文探讨了从无标签场景中心数据中学习视觉表示的问题，提出了一种的基于对比学习和数据驱动语义槽的语义聚类和表示学习方法，通过此方法能够更好的区分特征和语义相符的像素点，以此来有效地分解场景中的像素群组，并显著提高目标检测、实例分割和语义分割等下游应用的效果。

    May, 2022

  • 深度无监督感知分组

    本文介绍了一种有效的感知推断框架，该框架能够显式地处理输入和特征的分割，并通过增强神经网络的表示能力并对对象表示进行迭代分组，以及对其分组迭代推理进行摊销从而实现了快速收敛，相比其他处理多物体场景的方法，该方法不假设输入为图像，因此可以直接处理其他模态，并在处理具有纹理分割的复杂图像时提供更好的分类性能。

    Jun, 2016

  • 医学图像分割密集层级表示的自监督学习

    通过自监督框架学习适用于密集下游任务的体素级粗细粒度表示，通过平衡多尺度特征的贡献，确保学习到的表示捕捉到粗粒度和细粒度的细节，并在有限的注释数据下持续优于基准模型。

    Jan, 2024

  • 通过预测视觉单词包学习表征

    本文提出了一种基于视觉词汇的自监督学习方法，通过将图像特征映射量化为视觉词汇，实现了对图像的分离表示，通过 Bag-of-Words 表示学习有用的下游图像理解特征，与类似自然语言领域的方法相比，该方法在目标检测和分类上表现出更好的迁移能力。

    Feb, 2020

  • 无监督视觉 grounding 的学习：通过语义自监督

    本文提出了一种新型的无监督视觉基础框架，使用概念学习作为代理任务来获得自我监督，以鼓励模型定位和解释语义属性，在多项实验中，该方法在图像本体库、ReferItGame 数据集上分别提升了 5.6% 和 5.8%，在 Flickr30k 数据集上达到了与最先进的表现相媲美的水平。

    Mar, 2018

  • HEAP: 无监督的对比聚类目标发现与定位

    通过使用自我监督变换器特征，介绍了一种名为 Hierarchical mErging framework via contrAstive grouPing (HEAP) 的轻量级头部设计方法，以自适应地将图像内的补丁群组成语义一致的区域，以实现更准确的对象发现，并在各种类别的对象之间实现区分。

    Dec, 2023

  • 启发式视觉预训练的自监督和有监督多任务学习

    提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

    Oct, 2023

  • 自监督单目深度的语义引导表示学习

    本文研究自监督学习中如何直接运用语义结构来指导几何表示的学习，提出了一种新的基于预训练语义分割网络和像素自适应卷积的架构，并使用两阶段训练过程来克服动态对象上的常见语义偏差。结果表明该方法在所有像素、细节和语义类别上都优于现有方法，实现了自监督单目深度预测的最新水平。

    Feb, 2020

  • 层次化解耦空间 - 时间对比用于自监督视频表征学习

    提出一种新的自监督视频表示学习技术，通过将学习目标分解为两个对比子任务并分层进行，强调空间和时间特征，从而鼓励多尺度理解。通过实验表明，可以将增强作为规则化进行操作来指导网络在对比学习中学习所需的语义，并提出一种方式，使模型可以在多个尺度上分别捕捉空间和时间特征。还介绍了一种克服不同层次上实例不变性差异的方法。将代码公开。

    Nov, 2020

  • 对比重构中的无监督部件发现

    本研究提出了一种非监督学习方法来发现和分割物体部分，通过像素级别的图像重建配合先前任务的代理目标，得到了一种更有意义的部分分解方法，优于现有的三个基准数据集，提供了一种一致的、可视化的物体语义部分表示。

    Nov, 2021