交互式图像分割的聚焦和协作反馈集成
FocalClick 提出了一种交互式分割模型,通过两个快速推理处理目标区域与焦点区域的粗分割和局部细分割,采用渐进式合并的方法有效地对预先存在的分割遮罩进行修正,同时在 FLOP 显著更小的情况下实现了与 SOTA 方法相当的结果。
Apr, 2022
本文介绍了一种基于前向传递的点击交互式分割模型,无需额外的优化技巧即可实现最新的最佳结果,并且对于性能的分析表明,使用 COCO 和 LVIS 的训练数据集所训练的模型表现最佳。
Feb, 2021
研究提出了一种基于涂鸦的交互式全图像注释框架,将 Mask-RCNN 改进成快速交互式分割框架,并在完整的图像画布上引入像素级别的实例感知损失,实现注释者可将识别错误共享至整张图片中的所有区域并着重核查所有区域中机器产生的最大误差。通过在 COCO 全景数据集上进行实验,证明了该交互式完整图像分割方法实现了 5%的 IoU 增益,在每个区域四次极限点击和四次更正涂鸦的情况下达到了 90%的 IoU。
Dec, 2018
本文提出了一种基于半自动学习的合作分割方法,结合了完全卷积神经网络和活动用户模型进行训练,在医学图像处理领域有很大应用价值,并通过交互方式不断优化分割效果。
Sep, 2017
最近几年,深度学习已成为遥感应用中强大的方法,尤其在从卫星和航空图像中提取重要地物的分割和分类技术中起到关键作用。然而,只有少数论文讨论了深度学习在地物覆盖分类任务中交互式分割的应用。本研究旨在通过对各种基于深度学习的交互式分割模型进行基准研究,弥合交互式分割和遥感图像分析之间的差距。我们在两个高分辨率航空影像数据集上评估了五种最先进的交互式分割方法(SimpleClick、FocalClick、Iterative Click Loss (ICL)、Reviving Iterative Training with Mask Guidance for Interactive Segmentation (RITM) 和 Segment Anything (SAM))的性能。为了在不需要多个模型的情况下提高分割结果,我们引入了一种创新的推理策略 —— 级联前向细化(CFR)方法,用于交互式分割。我们在遥感中评估了这些交互式分割方法在不同的地物覆盖类型、目标尺寸和波段组合上的表现。令人惊讶的是,广为讨论的方法 SAM 在遥感图像中表现不佳。相反,SimpleClick 模型中使用的基于点的方法在所有实验中始终优于其他方法。基于这些发现,我们开发了一个名为 RSISeg 的专用在线工具,用于遥感数据的交互式分割。RSISeg 采用了一个性能良好的交互式模型,并通过遥感数据进行了微调。此外,我们把 SAM 模型集成到这个工具中。与现有的交互式分割工具相比,RSISeg 具有较强的交互性、可修改性和适应性。
Aug, 2023
本研究提出一种基于迭代式训练策略的交互式对象分割系统,利用用户输入的 clicks 作为卷积网络的输入,相较于现有的启发式 click 采样策略,本方法取得了更优的分割结果。
May, 2018
我们介绍了交互式图像分割框架,用于提取单个目标和相同类别中的多个目标的满意掩码。通过利用 Transformer 骨干网络从图像和交互中提取特征,我们的模型能够达到比以前方法更好的性能,减少用户的劳动量并具备灵活和实用的注释工具的潜力。
Jun, 2024
本论文研究了应用嵌入式学习原理来解决半监督视频对象分割的挑战。与以往只使用前景目标的像素探索嵌入学习不同,本文认为背景也应该得到同样的对待,因此提出了 CFBI 方法,通过前背景一起的特征嵌入来提高对象的分割效果。CFBI 利用了前后景的特征嵌入,从像素和实例级别的角度对参考和预测序列进行匹配,使得 CFBI 对各种对象尺度都具有鲁棒性。在三个流行的基准测试上,即 DAVIS 2016、DAVIS 2017 和 YouTube-VOS 上,CFBI 的表现分别为 89.4%,81.9%和 81.4%,超越了所有其他最先进的方法。
Mar, 2020
本文提出了一种新的交互式架构和训练方案,旨在更好地利用用户工作流,并展示出引入专门设计用于复杂对象边界的合成训练数据集可以进一步获得显着的改进,该网络达到了最先进性能。
Mar, 2020
本研究介绍一种新颖的基于深度学习的算法来解决交互式物体选择的问题,该算法可以将用户提供的正负反馈转换成欧几里得距离图,并与图像的 RGB 通道拼接,采用多种随机采样策略生成图像和用户交互对,通过 Fine-tune 深度反卷积网络,最终结果融合图像概率图和图切割优化,实现对物体边界的精细提取。实验结果表明,该算法具有较好的泛化能力,优于所有现有的交互式物体选择方法。
Mar, 2016