CVPRMar, 2024

AllSpark: 转换器中的未标记特征重生用于半监督语义分割

PDF
TL;DR通过通道交叉注意力机制重塑未标记特征并引入语义记忆和通道语义分组策略，提出了一种新的半监督语义分割方法 AllSpark，用于提高标记数据和非标记数据的训练效果。该方法在多个评估指标上优于现有方法，并可与基于 Transformer 的分割模型无缝集成。
semi-supervised semantic segmentationallsparkchannel-wise cross-attention mechanismsemantic memorybottleneck module
发现论文，激发创造
  • 一个轻量级聚类框架用于无监督语义分割

    我们提出了一个用于无监督语义分割的轻量级聚类框架，基于自监督视觉变换器的注意特征，通过将这些特征聚类成少量的聚类中心，我们能够将前景和背景的图像补丁分开成不同的组。我们的框架在无监督语义分割方面展示了很大的潜力，并在 PASCAL VOC 和 MS COCO 数据集上取得了最新的成果。

    Nov, 2023

  • 双层孪生结构网络优化半监督语义分割

    我们提出了一种双层 Siamese 结构网络（DSSN）进行像素级对比学习，通过在低级图像空间和高级特征空间中利用强增强视图对齐正样本对，最大化利用可用的无标签数据，并引入了一种新颖的面向类别感知的伪标签选择策略以改善弱到强监督的性能，并在 PASCAL VOC 2012 和 Cityscapes 两个数据集上取得了显著优于其他 SSS 算法的最新成果。

    Jul, 2023

  • 通过提炼特征对应关系进行无监督的语义分割

    STEGO 是一种新的自监督特征提取框架，通过使用对比损失函数来加强特征聚类的紧凑性，并在 CocoStuff 和 Cityscapes 语义分割挑战中显著优于其他算法。

    Mar, 2022

  • 自学习低秩网络用于单阶段弱监督和半监督语义分割

    本文提出了一种自监督低秩网络 (SLRNet) 来解决有限注释下的语义分割问题，其使用了交叉视图自监督学习和集体矩阵分解来学习稳健的精确伪标签，实现了统一的单阶段框架以进行各种标签效率语义分割设置。

    Mar, 2022

  • 基于多尺度注意融合的自训练框架用于弱监督语义分割

    提出一种利用多尺度类别感知度量融合的自训练方法，采集不同尺度的注意力图信息并应用去噪和激活策略来增强潜在区域和减少嘈杂区域，最后利用优化后的注意力图重新训练模型，实验证明该方法可以从多尺度图像提取丰富的语义信息，并在 PASCAL VOC 2012 验证集和测试集上实现了 72.4% 的平均交并比得分。

    May, 2023

  • 弱监督语义分割的渐进不确定特征自强化

    对比传统的像素级监督语义分割，使用图像级标签的弱监督语义分割（WSSS）面临的挑战是始终专注于最具差异性的区域，导致完全监督条件下的不一致。典型的表现是在目标边界上减少了精度，从而导致 WSSS 的准确性下降。为了缓解这个问题，我们提出了一种自适应将图像内容划分为确定性区域（如自信的前景和背景）和不确定性区域（如目标边界和错误分类类别）进行分别处理的方法。对于不确定性提示，我们采用基于激活的掩膜策略，并试图通过自身提炼的知识来恢复局部信息。我们进一步假设未掩膜的自信区域应具有足够的鲁棒性以保持全局语义。基于此，我们引入了一种互补的自我增强方法，它限制了这些自信区域与具有相同类别标签的增强图片之间的语义一致性。通过在 PASCAL VOC 2012 和 MS COCO 2014 上进行的大量实验证明，我们提出的 WSSS 的单阶段方法不仅明显优于最先进的基准方法，而且在复杂性换精度的多阶段方法之上。可以在此 https URL 找到代码。

    Dec, 2023

  • 基于显著性引导的自注意力网络用于弱监督和半监督语义分割

    该论文提出一种基于自注视网络和显著性先验的半监督语义分割模型，能够准确地定位并分割图像区域，且在 PASCAL VOC 2012 上的表现优于目前所有其他先进方法。

    Oct, 2019

  • SSPC-Net: 半监督语义三维点云分割网络

    本文提出一种半监督的点云语义分割网络，名为 SSPC-Net，通过推断少量标注化点的标签，为无标签的点生成伪标签，采用动态标签传播方法和耦合关注机制，最终成功减少标注点，并在不同数据集上取得优秀结果。

    Apr, 2021

  • 基于伪标签再生和 BEVMix 的半监督类别无关运动预测

    本研究探索半监督学习在无类别依赖运动预测中的潜力，通过一致性自我训练范式、可靠伪标签选择和再生成模块以及数据增强策略，提出了一个半监督学习框架，其在使用较少标记数据的情况下能够超越自监督方法，并展现了与弱监督和一些全监督方法相当的性能水平，平衡了标注成本和性能的优点.

    Dec, 2023

  • 面向轻量级半监督语义分割的多粒度蒸馏方案

    提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。

    Aug, 2022