使用遮罩引导恢复迭代训练进行交互式分割
本研究提出一种基于迭代式训练策略的交互式对象分割系统,利用用户输入的 clicks 作为卷积网络的输入,相较于现有的启发式 click 采样策略,本方法取得了更优的分割结果。
May, 2018
FocalClick 提出了一种交互式分割模型,通过两个快速推理处理目标区域与焦点区域的粗分割和局部细分割,采用渐进式合并的方法有效地对预先存在的分割遮罩进行修正,同时在 FLOP 显著更小的情况下实现了与 SOTA 方法相当的结果。
Apr, 2022
本文提出了一种基于深度交互式分割模型的交互式对象分割方法,并利用真实人类注释数据集发布了一个实例分割数据集,同时还提供了一个自动评估模型以更好地保证注释质量。
Mar, 2019
本文介绍一种基于人工交互的视频对象分割方法,使用深度学习技术进行交互式图像分割,并应用于视频对象分割中。在 GrabCut 数据集上,我们的方法以仅需 3.8 次点击的平均值获得 90%的 IOU,与当前最先进的方法相比,具有更高的准确性。此外,我们研究了用户的使用模式和提供的纠正类型等,为进一步改进交互式视频分割提供重要的见解。
Dec, 2017
最近几年,深度学习已成为遥感应用中强大的方法,尤其在从卫星和航空图像中提取重要地物的分割和分类技术中起到关键作用。然而,只有少数论文讨论了深度学习在地物覆盖分类任务中交互式分割的应用。本研究旨在通过对各种基于深度学习的交互式分割模型进行基准研究,弥合交互式分割和遥感图像分析之间的差距。我们在两个高分辨率航空影像数据集上评估了五种最先进的交互式分割方法(SimpleClick、FocalClick、Iterative Click Loss (ICL)、Reviving Iterative Training with Mask Guidance for Interactive Segmentation (RITM) 和 Segment Anything (SAM))的性能。为了在不需要多个模型的情况下提高分割结果,我们引入了一种创新的推理策略 —— 级联前向细化(CFR)方法,用于交互式分割。我们在遥感中评估了这些交互式分割方法在不同的地物覆盖类型、目标尺寸和波段组合上的表现。令人惊讶的是,广为讨论的方法 SAM 在遥感图像中表现不佳。相反,SimpleClick 模型中使用的基于点的方法在所有实验中始终优于其他方法。基于这些发现,我们开发了一个名为 RSISeg 的专用在线工具,用于遥感数据的交互式分割。RSISeg 采用了一个性能良好的交互式模型,并通过遥感数据进行了微调。此外,我们把 SAM 模型集成到这个工具中。与现有的交互式分割工具相比,RSISeg 具有较强的交互性、可修改性和适应性。
Aug, 2023
我们介绍了交互式图像分割框架,用于提取单个目标和相同类别中的多个目标的满意掩码。通过利用 Transformer 骨干网络从图像和交互中提取特征,我们的模型能够达到比以前方法更好的性能,减少用户的劳动量并具备灵活和实用的注释工具的潜力。
Jun, 2024
本文提出了一种新的交互式架构和训练方案,旨在更好地利用用户工作流,并展示出引入专门设计用于复杂对象边界的合成训练数据集可以进一步获得显着的改进,该网络达到了最先进性能。
Mar, 2020
本文提出了一种基于用户纠错信息的 object segmentation 方法,使用卷积神经网络进行模型训练,并实现了在测试时动态更新模型参数以适应数据的特点,从而在 8 个不同数据集上得到了较为优异的实验结果。
Nov, 2019
基于深度学习的医学图像自动分割系统面临大量数据标注成本和模型迭代中的高延迟问题,本研究提出了一种动态交互学习框架,通过将交互式分割与端到端弱监督学习和流式任务集成,解决了这些挑战。我们开发了新颖的重放和标签平滑方案,克服了灾难性遗忘并提高了在线学习的鲁棒性,并在每个图像上同时优化前端预测和深度学习分段器的多轮交互式分割模块。通过空间残差图,我们训练的分段器明确地指导下一步的用户干预,从而实现了弱监督信号的蒸馏。通过在三维分割任务(NCI-ISBI2013 和 BraTS2015)上的评估,我们的框架生成了与离线训练基准相匹配的在线学习性能。此外,我们的框架减少了 62% 的标注工作量,并且在与具有完整 ground truth 的在线和离线学习进行对比时,生成了具有竞争力的 dice 分数。此外,由于其灵活性和响应能力,这样的框架可以部署在保证数据安全和简便维护的医院防火墙之后。
Dec, 2023