Nov, 2023

基于分割频率统计的非监督式和半监督式共显目标检测

PDF
TL;DR在这篇研究论文中，我们采用无监督的频率统计方法来检测图像组中同时出现的显著对象（CoSOD），从而使我们能够开发半监督的方法。我们提出的无监督方法 US-CoSOD 结合了无监督单图像语义分割的对象共现频率统计和利用自监督特征学习的显著前景检测。我们首次展示了大规模无标签数据集（例如 ImageNet-1k）可以有效地提高无监督 CoSOD 的性能。同时，我们的无监督模型是半监督模型 SS-CoSOD 的良好预训练初始化，在训练过程中，尤其是当可用的标记数据非常有限时。为了避免在无标签数据上的预测中传播错误的信号，我们提出了一种置信度估计模块来指导我们的半监督训练。对三个 CoSOD 基准数据集的广泛实验证明，我们的无监督模型和半监督模型都显著优于相应的最先进模型（例如，在 Cosal2015 数据集上，我们的 US-CoSOD 模型相对于最先进的无监督共分割模型有 8.8% 的 F-measure 增益，而我们的 SS-CoSOD 模型相对于最先进的半监督 CoSOD 模型有 11.81% 的 F-measure 增益）.
发现论文，激发创造
  • 多尺度特征对应下的自监督共显目标检测

    我们的论文介绍了一种新颖的两阶段自监督方法，用于在图像组中检测共现显著对象（CoSOD），不需要分割注释。我们的轻量级模型利用了补丁和区域级别上的特征对应，显著提高了预测性能。我们的自监督模型在三个 CoSOD 基准数据集上进行了大量实验证明，性能明显优于现有最先进模型。

    Mar, 2024

  • 重新思考共显目标检测

    本文提出了一种更具挑战性的新的 CoSOD 基准数据集 CoSOD3k，整合了现有的 SOD 技术以构建统一的可训练 CoSOD 框架 CoEG-Net，并全面总结了 40 项尖端算法，并在三个挑战性的 CoSOD 数据集上进行了性能分析，旨在推动 CoSOD 社区的发展。

    Jul, 2020

  • 用一千个群组进行有区分性的一致性挖掘以实现更准确的共显目标检测

    Co-Salient Object Detection (CoSOD) is improved by introducing a new training set called CoSINe dataset, allowing better performance with fewer images compared to existing datasets. Hierarchical Instance-aware COnsensus MinEr (HICOME) approach efficiently mines consensus features and achieves state-of-the-art performance on existing CoSOD test sets.

    Jan, 2024

  • 面向开放世界的共同显著目标检测与生成不确定性感知的群体选择性交换遮罩

    为提高共显著目标检测模型的鲁棒性，在开放世界场景下处理无关图像时引入了一种群组选择性交换掩模 (GSEM) 方法。GSEM 采用两组图像作为输入，每组包含不同类型的显著对象，并使用一种基于学习的策略选择每组中的子集图像，并进行交换。为同时考虑不相关图像引入的不确定性和群组中其余相关图像的一致特征，设计了潜变量生成器分支和共显著目标检测转换器分支，最终通过基于 Transformer 的解码器生成鲁棒预测结果。构建了三个开放世界基准数据集 OWCoSal、OWCoSOD 和 OWCoCA 来评估模型的鲁棒性和实用性。

    Oct, 2023

  • 带有语义级别共识提取和分散的共显目标检测

    给定一组图像，合作显著目标检测（CoSOD）的目标是突出显示每个图像中的共同显著对象。本文提出了一种基于分层 Transformer 模块的方法，用于提取语义级共识，以获得对公共对象类别更全面的表示，并排除与目标对象具有局部相似性的其他对象的干扰。此外，还提出了一种基于 Transformer 的分散模块，它考虑了不同场景中协同显著对象的变化。它以图像特征图的图像特定方式对共识进行分发，同时充分利用组内的交互。这两个模块与 ViT 编码器和类似 FPN 的解码器一起集成成一个可端到端训练的网络，不需要额外的分支和辅助损失。该方法在三个常用的 CoSOD 数据集上进行评估，并取得了最先进的性能。

    Sep, 2023

  • 基于谱聚类投票的无监督显著目标检测

    本篇论文提出了一种基于自我监督特征和谱聚类技术的无监督显著物体检测方法，使用谱聚类聚合像素并应用多种自我监督模型计算出的图像特征进行掩码提议，然后采用 “赢家通吃” 机制挑选显著掩码，以显著性物体检测为研究目标，实验结果表明相比之前的方法该算法在三个无监督显著物体检测基准上表现更佳。

    Mar, 2022

  • 面向组群分割的统一 Transformer 框架：协同分割，共同显著性检测和视频显著对象检测

    该论文提出了一个名为 UFO 的统一框架，通过引入自注意机制和内部 MLP 学习模块，结合图像的空间信息和特征相似性，实现了针对协同分割、协同显著性检测和视频显著性对象检测的多任务单一网络架构，实验结果表明，该方法在精度和速度方面均优于现有方法。

    Mar, 2022

  • 零样本共显目标检测框架

    探索了无需训练过程的零样本共显目标检测框架，结合了零样本转移能力的计算机视觉模型，通过引入群组提示生成模块和共生图生成模块，实现了令人印象深刻的结果，超过了现有无监督方法并且在 2020 年之前的全监督方法上也表现出良好竞争力。

    Sep, 2023

  • 走向自主监督的全流程无监督显著性检测

    自我监督的端到端显著目标检测框架基于对比学习构建了最具教导性分割引导的位置映射，并通过细节增强模块丰富了位置标签的详细信息；此外，通过设计一种新的无监督非显著对象抑制（UNSS）方法，该方法能够忽略非显著对象。在基准数据集上的大量实验证明我们的方法在近期的端到端方法和大多数多阶段解决方案中取得了领先的性能。

    Oct, 2023

  • 基于知识迁移的统一无监督显著目标检测

    提出一种用于通用无监督显著目标检测任务的统一框架，其中包括渐进式课程学习的显著性提取机制、自我矫正的伪标签优化机制和适配器调整方法，实现了在目标任务上取得更好的迁移性能。

    Apr, 2024