DISIR:交互式深度图像分割
提出一种名为 DISCA 的框架,通过交互式学习过程使用稀疏用户注释作为 ground-truth,持续地使神经网络适应目标图像来精细调整深层神经网络输出的像素级分类图,实验结果表明该方法在三个数据集上的 IoU 值可以提高 4.7%,并且可以有效地应对像领域适应等其他问题。
Sep, 2020
最近几年,深度学习已成为遥感应用中强大的方法,尤其在从卫星和航空图像中提取重要地物的分割和分类技术中起到关键作用。然而,只有少数论文讨论了深度学习在地物覆盖分类任务中交互式分割的应用。本研究旨在通过对各种基于深度学习的交互式分割模型进行基准研究,弥合交互式分割和遥感图像分析之间的差距。我们在两个高分辨率航空影像数据集上评估了五种最先进的交互式分割方法(SimpleClick、FocalClick、Iterative Click Loss (ICL)、Reviving Iterative Training with Mask Guidance for Interactive Segmentation (RITM) 和 Segment Anything (SAM))的性能。为了在不需要多个模型的情况下提高分割结果,我们引入了一种创新的推理策略 —— 级联前向细化(CFR)方法,用于交互式分割。我们在遥感中评估了这些交互式分割方法在不同的地物覆盖类型、目标尺寸和波段组合上的表现。令人惊讶的是,广为讨论的方法 SAM 在遥感图像中表现不佳。相反,SimpleClick 模型中使用的基于点的方法在所有实验中始终优于其他方法。基于这些发现,我们开发了一个名为 RSISeg 的专用在线工具,用于遥感数据的交互式分割。RSISeg 采用了一个性能良好的交互式模型,并通过遥感数据进行了微调。此外,我们把 SAM 模型集成到这个工具中。与现有的交互式分割工具相比,RSISeg 具有较强的交互性、可修改性和适应性。
Aug, 2023
本研究提出一种基于迭代式训练策略的交互式对象分割系统,利用用户输入的 clicks 作为卷积网络的输入,相较于现有的启发式 click 采样策略,本方法取得了更优的分割结果。
May, 2018
本文提出了一种深度学习交互分割方法,通过将用户交互与 CNN 结合,使用测地距离变换来提高自动 CNN 分割的精度和鲁棒性,并将用户交互作为硬约束集成到反向传播式 CRF 中,以实现在更高的精度下减少用户干预的目的。实验结果表明,与传统的交互式方法相比,该方法在自动 CNN 分割的基础上实现了大幅提升,并且在少数用户干预和更短的时间内具有可比甚至更高的准确性。
Jul, 2017
本文提出了一种新的交互式架构和训练方案,旨在更好地利用用户工作流,并展示出引入专门设计用于复杂对象边界的合成训练数据集可以进一步获得显着的改进,该网络达到了最先进性能。
Mar, 2020
通过使用 UAV 监测森林环境的变化,本研究介绍了一个新的大型航拍数据集,用于森林巡视任务,该数据集包含了真实和虚拟记录的自然环境,密集标注的语义分割标签和深度图,并研究了不同采集条件下多尺度神经网络的性能以及从虚拟数据到真实数据的迁移学习能力,结果表明,最佳结果来自于包含多种情景的数据集,而非将数据按特定类别分离。还开发了一个评估地区森林破坏程度的框架。
Mar, 2024
采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割,并在 NYU-v2 深度数据集上取得了 64.5% 的准确率,充分说明了适当的硬件(如 FPGA)可以实现实时处理。
Jan, 2013
本文提出一个新的基于深度学习的交互分割框架,该框架将卷积神经网络(CNN)引入到边界框和涂鸦分割管道中,并提出了图像特定的微调和考虑网络和交互不确定性的加权损失函数来提高 CNN 模型的性能,实验结果表明我们的方法比现有的 CNN 方法更鲁棒,并能够在更少的用户交互和更短的时间内获得准确的分割结果。
Oct, 2017
基于深度学习的医学图像自动分割系统面临大量数据标注成本和模型迭代中的高延迟问题,本研究提出了一种动态交互学习框架,通过将交互式分割与端到端弱监督学习和流式任务集成,解决了这些挑战。我们开发了新颖的重放和标签平滑方案,克服了灾难性遗忘并提高了在线学习的鲁棒性,并在每个图像上同时优化前端预测和深度学习分段器的多轮交互式分割模块。通过空间残差图,我们训练的分段器明确地指导下一步的用户干预,从而实现了弱监督信号的蒸馏。通过在三维分割任务(NCI-ISBI2013 和 BraTS2015)上的评估,我们的框架生成了与离线训练基准相匹配的在线学习性能。此外,我们的框架减少了 62% 的标注工作量,并且在与具有完整 ground truth 的在线和离线学习进行对比时,生成了具有竞争力的 dice 分数。此外,由于其灵活性和响应能力,这样的框架可以部署在保证数据安全和简便维护的医院防火墙之后。
Dec, 2023
本文研究了使用卫星图像语义分割实现自动生成地图的问题。通过使用不同的训练数据集进行对比分析,文章指出采用大规模公开标注来取代部分手动标注可以显著降低成本且不影响语义分割效果
Jul, 2017