Apr, 2022

SegDiscover：基于无监督语义分割的视觉概念发现

PDF
TL;DRSegDiscover 是一个无人监督语义分割框架，通过从原始图像生成概念原语、在自监督预训练编码器的潜在空间中进行聚类以及神经网络平滑来发现语义上有意义的视觉概念。实验结果表明，该方法可以在单个图像中发现多个概念，并在包括 Cityscapes 和 COCO-Stuff 等复杂数据集上优于最先进的无监督方法。此方法还可以作为神经网络解释工具使用，通过比较不同编码器得出结果。
visual concept discoveryneural networksunsupervised semantic segmentationconcept primitivesneural network explanation tool
发现论文，激发创造
  • 基于视觉概念的自监督语义分割

    本文提出了一种自监督的像素表示学习方法，通过使用从图像中提取的视觉概念（例如部件、物体和场景等具有语义意义的像素组）实现语义分割，评估了在三个数据集上学习到的像素嵌入和视觉概念。作者的实验结果表明，该方法在非监督语义分割方面取得了持续和显著的改进，并且视觉概念可以揭示图像数据集的洞见。

    Mar, 2022

  • 使用无监督深度学习进行早期视觉概念学习

    本文提出了一种基于无监督学习、从神经科学中获得灵感的方法，利用变分自编码器对图像数据进行学习，从而获得解耦表示。该方法可以使神经科学的研究成果得以应用到实际中，同时还有零样本推理和直观理解的优点。

    Jun, 2016

  • 概念掩模：基于语义概念的大规模分割

    本论文提出了一种新的基于弱监督和半监督框架的语义分割系统，可以处理包括对象、部分、杂物和属性在内的无限数量的概念，通过训练深度神经网络，产生视觉 - 语义嵌入，在完全注释的数据集上训练注意力驱动类无关分割网络。

    Aug, 2018

  • 无监督视觉 grounding 的学习：通过语义自监督

    本文提出了一种新型的无监督视觉基础框架，使用概念学习作为代理任务来获得自我监督，以鼓励模型定位和解释语义属性，在多项实验中，该方法在图像本体库、ReferItGame 数据集上分别提升了 5.6% 和 5.8%，在 Flickr30k 数据集上达到了与最先进的表现相媲美的水平。

    Mar, 2018

  • ConceptLearner: 从弱标注的图像集合中发现视觉概念

    本研究提出了 ConceptLearner，一种可扩展的方法来从弱标记的图像集合中自动学习并发现视觉概念检测器，并表明 ConceptLearner 能够应用于图像级别的概念识别和图像区域级别的概念检测，并在 SUN 数据库和 Pascal VOC 2007 上对场景识别和物体检测的学习表现显示出良好的性能。

    Nov, 2014

  • 通过提炼特征对应关系进行无监督的语义分割

    STEGO 是一种新的自监督特征提取框架，通过使用对比损失函数来加强特征聚类的紧凑性，并在 CocoStuff 和 Cityscapes 语义分割挑战中显著优于其他算法。

    Mar, 2022

  • 因果无监督语义分割

    无监督语义分割的新框架 CAUSE 基于因果推断，通过前门调整、概念聚类手段实现适当级别的概念分割，从而在无监督语义分割任务中取得了最先进的性能。

    Oct, 2023

  • 深度无监督感知分组

    本文介绍了一种有效的感知推断框架，该框架能够显式地处理输入和特征的分割，并通过增强神经网络的表示能力并对对象表示进行迭代分组，以及对其分组迭代推理进行摊销从而实现了快速收敛，相比其他处理多物体场景的方法，该方法不假设输入为图像，因此可以直接处理其他模态，并在处理具有纹理分割的复杂图像时提供更好的分类性能。

    Jun, 2016

  • 神经场上的 3D 概念基础

    本文提出了一种利用神经场进行三维概念定位、分割和学习的方法，并通过问题回答来实现可微分的模型训练，实现了在语义和实例分割、三维视觉推理任务中的性能提升。

    Jul, 2022

  • 利用语义分组进行自监督视觉表示学习

    本文探讨了从无标签场景中心数据中学习视觉表示的问题，提出了一种的基于对比学习和数据驱动语义槽的语义聚类和表示学习方法，通过此方法能够更好的区分特征和语义相符的像素点，以此来有效地分解场景中的像素群组，并显著提高目标检测、实例分割和语义分割等下游应用的效果。

    May, 2022