Apr, 2023

揭示 STEGO 的内部工作机理，以实现安全的无监督语义分割

HTML
PDF
TL;DR本文研究使用自监督预训练策略和Vision Transformer架构的DINO自蒸馏技术，以无监督聚类和语义对应的方式进行通用特征提取；并介绍了基于DINO预训练的Vision Transformer的特征相应的无监督语义分割的STEGO方法，并探讨了STEGO方法的工作机制和训练策略，最终得出STEGO构架可被解释为保留语义的降维技术，是当前技术应用于安全关键型应用的一种方法。
发现论文，激发创造
  • 无监督图像分类与分割的不变信息聚类

    该论文提出了一种无监督聚类方法，利用神经网络从未标记的数据样本中学习，通过最大化相互信息来发现准确匹配语义类的聚类，可应用于图像分类和分割等数据集。

    Jul, 2018

  • 对比物体掩码提案的无监督语义分割

    本文旨在通过采用对比优化目标中的预定中级先验，引入了一个两步框架来学习像素嵌入，从而解决了计算机视觉中的无监督语义表示学习问题，并证明此方法优于现有方法。

    Feb, 2021

  • SeMask: 用于语义分割的语义掩蔽变形器

    本文提出了SeMask框架，将语义信息嵌入预训练分层Transformer模块的编码器中以提高模型性能，并使用轻量级语义解码器进行训练。实验结果表明，嵌入语义先验可以显著提高模型效果，并且与Swin Transformer和Mix Transformer等模型相结合，达到了58.25％的mIoU表现。

    Dec, 2021

  • 通过提炼特征对应关系进行无监督的语义分割

    STEGO是一种新的自监督特征提取框架，通过使用对比损失函数来加强特征聚类的紧凑性，并在CocoStuff和Cityscapes语义分割挑战中显著优于其他算法。

    Mar, 2022

  • 自监督学习目标部分应用于语义分割

    本文介绍了以往自我监督的学习方式大多聚焦于图像级的表示学习，不能为无监督图像分割等需要空间多样的表示的任务带来改进，通过自我监督学习物体部件提出了新的解决途径，并结合目前趋势的Vision Transformer，利用稠密聚类任务进行空间标记的微调，取得了在语义分割基准测试上超过17%-3%的最先进结果，且在完全无监督分割方面也具有重大潜力。

    Apr, 2022

  • 简洁高性能的纯视觉变换语义分割

    通过对简单的Vision Transformer（ViT）模型进行高性能的分割实验，本文提出了PlainSeg和PlainSeg-Hier两种简洁高效的模型，包括了最后一个特征图的3x3卷积和Transformer编码器或解码器，并结合了高分辨率特征和更大的学习率，实验证明这些模型在语义分割中具有高性能和高效率，是评估基础模型转移能力的有力工具。

    Oct, 2023

  • 一个轻量级聚类框架用于无监督语义分割

    我们提出了一个用于无监督语义分割的轻量级聚类框架，基于自监督视觉变换器的注意特征，通过将这些特征聚类成少量的聚类中心，我们能够将前景和背景的图像补丁分开成不同的组。我们的框架在无监督语义分割方面展示了很大的潜力，并在PASCAL VOC和MS COCO数据集上取得了最新的成果。

    Nov, 2023

  • 基于基础模型时代的少样本语义分割新基准

    在计算机视觉中，我们比较了四种著名的视觉基础模型（DINO V2，Segment Anything，CLIP，Masked AutoEncoders和在COCO数据集上预训练的ResNet50），发现DINO V2在各种数据集和适应方法上始终优于其他模型，突出了其在语义分割任务上的优越适应能力。此外，我们观察到各种适配器方法表现相似，强调了选择稳健特征提取器比适应技术本身的复杂性更为重要，这一发现揭示了在少样本语义分割情境中特征提取的关键作用。此研究不仅为少样本语义分割领域的视觉基础模型的比较性能提供宝贵见解，还强调了稳健特征提取器在该领域的重要性。

    Jan, 2024

  • DatUS^2：使用预训练的自监督视觉Transformer进行数据驱动的无监督语义分割

    本文提出了一种数据驱动的方法，将无监督密集语义分割任务作为下游任务来评估自我监督训练方案中引入的语义信息质量，并使用所提出的方法（DatUS^2）生成密集伪标注分割掩膜，评估最新的自我监督训练方案，发现其在图像语义分割任务上取得了显著的性能优势。

    Jan, 2024

  • 利用主要掩码提案增强无监督语义分割

    基于无监督语义分割的PriMaPs-EM算法能够通过将图像分解为语义有意义的掩膜，并使用随机期望最大化算法拟合类别原型，实现在各种预训练模型和数据集上竞争性的无监督语义分割结果，优化了当前最先进的无监督语义分割流水线。

    Apr, 2024