May, 2023

AdaptiveClick: 适应点击感知 Transformer 与自适应 Focal Loss 用于交互式图像分割

PDF
TL;DRAdaptiveClick 是一种基于 Transformer 的、面向 Interactive Image Segmentation 的 mask-adaptive 分割框架，它通过引入 CAMD 和 Adaptive Focal Loss 解决了数据标注的不一致性和困难样本问题，实验结果显示其在 9 个数据集上超越了现有的其他方法。
interactive image segmentationadaptiveclickmask-adaptive transformeradaptive focal lossvit
发现论文，激发创造
  • FocalClick: 实用交互式图像分割

    FocalClick 提出了一种交互式分割模型，通过两个快速推理处理目标区域与焦点区域的粗分割和局部细分割，采用渐进式合并的方法有效地对预先存在的分割遮罩进行修正，同时在 FLOP 显著更小的情况下实现了与 SOTA 方法相当的结果。

    Apr, 2022

  • PiClick: 基于点击的交互式分割中选择所需掩模

    提出了一种基于交互式分割的语义多样性分割网络 PiClick，利用 Transformer 网络结构实现互动式 mask 查询，设计了 Target Reasoning 模块，能够自动推断出所有建议中最匹配的 mask，显著减少了目标模糊性以及额外人工干预。

    Apr, 2023

  • 跨模态视觉转换器的交互式图像分割

    本研究提出一种交互式图像分割网络，利用跨模态视觉 transformers 来更好地指导学习过程，并且在多个基准测试中实现了优越的性能表现，具有实用的注释工具潜力。

    Jul, 2023

  • 使用遮罩引导恢复迭代训练进行交互式分割

    本文介绍了一种基于前向传递的点击交互式分割模型，无需额外的优化技巧即可实现最新的最佳结果，并且对于性能的分析表明，使用 COCO 和 LVIS 的训练数据集所训练的模型表现最佳。

    Feb, 2021

  • 航空影像中的交互式分割：一个新的基准和一个开放的网络工具

    最近几年，深度学习已成为遥感应用中强大的方法，尤其在从卫星和航空图像中提取重要地物的分割和分类技术中起到关键作用。然而，只有少数论文讨论了深度学习在地物覆盖分类任务中交互式分割的应用。本研究旨在通过对各种基于深度学习的交互式分割模型进行基准研究，弥合交互式分割和遥感图像分析之间的差距。我们在两个高分辨率航空影像数据集上评估了五种最先进的交互式分割方法（SimpleClick、FocalClick、Iterative Click Loss (ICL)、Reviving Iterative Training with Mask Guidance for Interactive Segmentation (RITM) 和 Segment Anything (SAM)）的性能。为了在不需要多个模型的情况下提高分割结果，我们引入了一种创新的推理策略 —— 级联前向细化（CFR）方法，用于交互式分割。我们在遥感中评估了这些交互式分割方法在不同的地物覆盖类型、目标尺寸和波段组合上的表现。令人惊讶的是，广为讨论的方法 SAM 在遥感图像中表现不佳。相反，SimpleClick 模型中使用的基于点的方法在所有实验中始终优于其他方法。基于这些发现，我们开发了一个名为 RSISeg 的专用在线工具，用于遥感数据的交互式分割。RSISeg 采用了一个性能良好的交互式模型，并通过遥感数据进行了微调。此外，我们把 SAM 模型集成到这个工具中。与现有的交互式分割工具相比，RSISeg 具有较强的交互性、可修改性和适应性。

    Aug, 2023

  • AdaptIS: 自适应实例选择网络

    本文提出 Adaptive Instance Selection 网络结构，用于无类别实例分割，在与语义分割流水线相结合的情况下，可以轻松地实现全景分割，并在 Cityscapes 和 Mapillary 数据集上获得最先进的结果。

    Sep, 2019

  • PseudoClick: 带有点击模拟的交互式图像分割

    本文提出一个名为 PseudoClick 的框架，使得现有的分割网络能够提出候选的下一步点击，从而进一步减少用户交互成本，该框架的目标是通过最少的用户点击来获得精确的对象分割掩码。

    Jul, 2022

  • 交互式图像分割的聚焦和协作反馈集成

    本研究提出了一种新的交互式图像分割方法 FCFI，使用用户注释和反馈整合来优化分割结果，并在四个基准测试中取得了领先于现有方法的最新最佳表现。

    Mar, 2023

  • 交互式分割作为高斯过程分类

    本文将 IS 任务作为基于高斯过程的像素二元分类问题，使用变分推理将 GP 后验近似为双空间形式，提出了 GPCIS 框架用于精细传播和提升分割的准确性，并在多个基准实验中验证了其优越性和高效性。

    Feb, 2023

  • InterFormer：实时交互式图像分割

    提出了一种名为 InterFormer 的方法，使用大型 ViT 并在高性能设备上运行，通过轻量级 I-MSA 模块进行互动式分割，实现了计算效率更高、分割质量更好的实时高质量交互式分割，可在仅有 CPU 的设备上执行。

    Apr, 2023