Oct, 2023

面向开放世界的共同显著目标检测与生成不确定性感知的群体选择性交换遮罩

PDF
TL;DR为提高共显著目标检测模型的鲁棒性，在开放世界场景下处理无关图像时引入了一种群组选择性交换掩模 (GSEM) 方法。GSEM 采用两组图像作为输入，每组包含不同类型的显著对象，并使用一种基于学习的策略选择每组中的子集图像，并进行交换。为同时考虑不相关图像引入的不确定性和群组中其余相关图像的一致特征，设计了潜变量生成器分支和共显著目标检测转换器分支，最终通过基于 Transformer 的解码器生成鲁棒预测结果。构建了三个开放世界基准数据集 OWCoSal、OWCoSOD 和 OWCoCA 来评估模型的鲁棒性和实用性。
co-salient object detectiongroup selective exchange-maskingrobustnesslatent variable generator branchopen-world benchmark datasets
发现论文，激发创造
  • 重新思考共显目标检测

    本文提出了一种更具挑战性的新的 CoSOD 基准数据集 CoSOD3k，整合了现有的 SOD 技术以构建统一的可训练 CoSOD 框架 CoEG-Net，并全面总结了 40 项尖端算法，并在三个挑战性的 CoSOD 数据集上进行了性能分析，旨在推动 CoSOD 社区的发展。

    Jul, 2020

  • 带有语义级别共识提取和分散的共显目标检测

    给定一组图像，合作显著目标检测（CoSOD）的目标是突出显示每个图像中的共同显著对象。本文提出了一种基于分层 Transformer 模块的方法，用于提取语义级共识，以获得对公共对象类别更全面的表示，并排除与目标对象具有局部相似性的其他对象的干扰。此外，还提出了一种基于 Transformer 的分散模块，它考虑了不同场景中协同显著对象的变化。它以图像特征图的图像特定方式对共识进行分发，同时充分利用组内的交互。这两个模块与 ViT 编码器和类似 FPN 的解码器一起集成成一个可端到端训练的网络，不需要额外的分支和辅助损失。该方法在三个常用的 CoSOD 数据集上进行评估，并取得了最先进的性能。

    Sep, 2023

  • 用一千个群组进行有区分性的一致性挖掘以实现更准确的共显目标检测

    Co-Salient Object Detection (CoSOD) is improved by introducing a new training set called CoSINe dataset, allowing better performance with fewer images compared to existing datasets. Hierarchical Instance-aware COnsensus MinEr (HICOME) approach efficiently mines consensus features and achieves state-of-the-art performance on existing CoSOD test sets.

    Jan, 2024

  • 全局和局部协作学习用于共同显著目标检测

    本文提出了一种全局和局部协同学习架构（GLNet），包括全局对应建模和局部对应建模，以从全局和局部角度捕获不同图像之间的全面对应关系来学习共同显著对象检测（CoSOD）任务。在三个普及的 CoSOD 基准数据集上进行评估，证明了我们的模型在小数据集（约 3k 张图像）上训练仍然优于一些大数据集上训练的十一个最先进的竞争对手。

    Apr, 2022

  • 零样本共显目标检测框架

    探索了无需训练过程的零样本共显目标检测框架，结合了零样本转移能力的计算机视觉模型，通过引入群组提示生成模块和共生图生成模块，实现了令人印象深刻的结果，超过了现有无监督方法并且在 2020 年之前的全监督方法上也表现出良好竞争力。

    Sep, 2023

  • 面向组群分割的统一 Transformer 框架：协同分割，共同显著性检测和视频显著对象检测

    该论文提出了一个名为 UFO 的统一框架，通过引入自注意机制和内部 MLP 学习模块，结合图像的空间信息和特征相似性，实现了针对协同分割、协同显著性检测和视频显著性对象检测的多任务单一网络架构，实验结果表明，该方法在精度和速度方面均优于现有方法。

    Mar, 2022

  • CosalPure: 基于群体图像学习鲁棒共同显著性检测的概念

    通过学习共显对象的概念，并利用该概念来净化对抗扰动，本文提出了一种新的增强鲁棒性的框架，可以显著提高共显对象检测方法的鲁棒性。

    Mar, 2024

  • CoADNet: 协作聚集和分布网络用于共同显著目标检测

    本文介绍了一种协作聚合和分布网络 (CoADNet) 架构，通过建模和利用图像之间的相互关系来捕获来自多个图像的突出和重复视觉模式，以解决 Co-Salient Object Detection (CoSOD) 任务中的一些挑战性问题，同时 CoADNet 在四个 CoSOD 基准数据集上得到了显着的性能提升。

    Nov, 2020

  • 多尺度特征对应下的自监督共显目标检测

    我们的论文介绍了一种新颖的两阶段自监督方法，用于在图像组中检测共现显著对象（CoSOD），不需要分割注释。我们的轻量级模型利用了补丁和区域级别上的特征对应，显著提高了预测性能。我们的自监督模型在三个 CoSOD 基准数据集上进行了大量实验证明，性能明显优于现有最先进模型。

    Mar, 2024

  • 基于分割频率统计的非监督式和半监督式共显目标检测

    在这篇研究论文中，我们采用无监督的频率统计方法来检测图像组中同时出现的显著对象（CoSOD），从而使我们能够开发半监督的方法。我们提出的无监督方法 US-CoSOD 结合了无监督单图像语义分割的对象共现频率统计和利用自监督特征学习的显著前景检测。我们首次展示了大规模无标签数据集（例如 ImageNet-1k）可以有效地提高无监督 CoSOD 的性能。同时，我们的无监督模型是半监督模型 SS-CoSOD 的良好预训练初始化，在训练过程中，尤其是当可用的标记数据非常有限时。为了避免在无标签数据上的预测中传播错误的信号，我们提出了一种置信度估计模块来指导我们的半监督训练。对三个 CoSOD 基准数据集的广泛实验证明，我们的无监督模型和半监督模型都显著优于相应的最先进模型（例如，在 Cosal2015 数据集上，我们的 US-CoSOD 模型相对于最先进的无监督共分割模型有 8.8% 的 F-measure 增益，而我们的 SS-CoSOD 模型相对于最先进的半监督 CoSOD 模型有 11.81% 的 F-measure 增益）.

    Nov, 2023