ICMLJun, 2024

以 SAM 为指导：在半监督的指代表达分割中掌握伪标签精炼

PDF
TL;DR本研究介绍了 SemiRES，一种半监督框架，可以有效地利用标记和未标记的数据来执行 RES。通过结合 Segment Anything Model（SAM）来改进伪标签的准确性，SemiRES 提供了两种备选匹配策略：基于 IoU 的最佳匹配（IOM）和复合部件整合（CPI）。该研究在三个 RES 基准测试上进行了广泛实验证明了其优越性能。即使只有 1% 的标记数据，SemiRES 的表现也大大超过了有监督方法。
semiressemi-supervised frameworksegment anything modeliou-based optimal matchingcomposite parts integration
发现论文，激发创造
  • RESMatch: 半监督方式下的指代表达式分割

    该研究介绍了 RESMatch，这是一种用于参考表达分割的半监督学习方法，旨在减少对详尽数据标注的依赖，通过修订强扰动、文本增强和强弱监督质量调整等三种创新，RESMatch 在多个数据集上显著优于基线方法，并树立了新的最优效果，为以后的半监督学习参考表达分割研究奠定了基础。

    Feb, 2024

  • 走向全方位监督引用表达分割

    基于语义表达分割（RES）的任务，提出一种新的学习任务，称为全监督引用表达分割（Omni-RES），旨在充分利用未标记、完全标记和弱标记数据进行高效的 RES 训练，并基于最近流行的师生学习方法提出一种有效的基准方法来解决监督信号不直接依赖于弱标签的问题。实验证明，Omni-RES 方法明显优于全监督和半监督训练方案，并使得大规模视觉语言如 Visual Genome 能够在低成本下进行 RES 训练，实现了新的最佳效果。

    Nov, 2023

  • 揭示超越物体的部分：迈向更精细的指代表达分割

    提出了一种多层次指代表达式分割任务 (MRES)，构建了一个评估基准 RefCOCOm 和一个规模为 32.2M 的高质量数据集 MRES-32M，设计了 UniRES 模型完成统一的对象级和部分级视觉对齐任务，通过在 RefCOCOm、RefCOCO (+/g) 等数据集上的实验证明了该方法的优越性。

    Dec, 2023

  • SemiSAM：探索 SAM 以提升极少标注的半监督医学图像分割

    通过将 Segment Anything Model (SAM) 的伪标签作为辅助来增强半监督医学图像分割的学习过程，能够显著提升现有的半监督框架在极为有限的标注图像情况下的性能。

    Dec, 2023

  • 基于 SAM 模型的弱监督语义分割增强伪标签

    使用 Segment Anything Model（SAM）结合 Class Activation Maps（CAM）生成更高质量的伪标签，用伪标签为特定类提供信号，选择相关的 mask 并用它们进行标注以产生一个更精确的伪标签，综合我们的方法提高了五种最先进的弱监督语义分割方法的平均伪标签交并比（mIoU）6.2％。

    May, 2023

  • 自适应分辨率的强鲁棒无监督众筹计数和定位

    利用自适应分辨率 SEEM 模型和高斯混合模型，结合鲁棒损失函数和迭代生成伪标签方法，提出了一种简单而有效的无监督众数计数方法，可在无标记数据的情况下实现最佳性能，适用于无标记数据的众数计数任务。

    Feb, 2024

  • SafaRi: 自适应序列变换器用于弱监督指称表达式分割

    我们提出了一种弱监督引导架构用于指代表达分割，并引入了交叉模态融合、掩码有效性过滤等算法创新，通过只使用少量标注数据，在图像中实现目标物体的空间定位，实验结果表明我们的模型 SafaRi 在少量标注数据下表现优秀，具有强大的泛化能力。

    Jul, 2024

  • 无监督分割任何东西

    使用无监督 SAM 模型进行图像分割，通过将图像分割为实例 / 语义级别的片段并形成层次结构的无监督多粒度蒙版，提供了与有监督方法相媲美甚至更好的分割结果，并为有监督模型提供了改进的自我监督标签。

    Jun, 2024

  • WeakSAM：融合分割与弱监督实例级别识别的方法

    使用弱监督的视觉识别方法，借助预训练的视觉基础模型（SAM）中的世界知识，解决了弱监督对象检测和分割中的限制问题，并在 WSOD 和 WSIS 基准测试上显著超过了之前的最先进方法。

    Feb, 2024

  • 面向粒度调整的像素级语义标注

    提供了一种在未标记数据上进行用户定义粒度层次的语义分割的方法，通过累积全局语义信息并学习映射函数，使得带有粒度调整的语义识别的 Segment Anything Model（SAM）能够用于像素级语义注释，实验结果在 PASCAL VOC 2012 和 COCO-80 数据集上分别比现有最先进方法的 mIoU 提高了 17.95% 和 5.17%。

    Dec, 2023