多兆像素图像中微小物体的交互式分割和可视化
本文介绍一种基于人工交互的视频对象分割方法，使用深度学习技术进行交互式图像分割，并应用于视频对象分割中。在 GrabCut 数据集上，我们的方法以仅需 3.8 次点击的平均值获得 90％的 IOU，与当前最先进的方法相比，具有更高的准确性。此外，我们研究了用户的使用模式和提供的纠正类型等，为进一步改进交互式视频分割提供重要的见解。
Dec, 2017
最近几年，深度学习已成为遥感应用中强大的方法，尤其在从卫星和航空图像中提取重要地物的分割和分类技术中起到关键作用。然而，只有少数论文讨论了深度学习在地物覆盖分类任务中交互式分割的应用。本研究旨在通过对各种基于深度学习的交互式分割模型进行基准研究，弥合交互式分割和遥感图像分析之间的差距。我们在两个高分辨率航空影像数据集上评估了五种最先进的交互式分割方法（SimpleClick、FocalClick、Iterative Click Loss (ICL)、Reviving Iterative Training with Mask Guidance for Interactive Segmentation (RITM) 和 Segment Anything (SAM)）的性能。为了在不需要多个模型的情况下提高分割结果，我们引入了一种创新的推理策略 —— 级联前向细化（CFR）方法，用于交互式分割。我们在遥感中评估了这些交互式分割方法在不同的地物覆盖类型、目标尺寸和波段组合上的表现。令人惊讶的是，广为讨论的方法 SAM 在遥感图像中表现不佳。相反，SimpleClick 模型中使用的基于点的方法在所有实验中始终优于其他方法。基于这些发现，我们开发了一个名为 RSISeg 的专用在线工具，用于遥感数据的交互式分割。RSISeg 采用了一个性能良好的交互式模型，并通过遥感数据进行了微调。此外，我们把 SAM 模型集成到这个工具中。与现有的交互式分割工具相比，RSISeg 具有较强的交互性、可修改性和适应性。
Aug, 2023
本文提出了 ISRF 方法，该方法可以与尝试从 RF 中分割复杂对象的先前分割方法相比，交互性地分割带有细微结构和外观的对象，并可用于新视图合成、多个场景中的对象分割等应用。
Dec, 2022
研究提出了一种基于涂鸦的交互式全图像注释框架，将 Mask-RCNN 改进成快速交互式分割框架，并在完整的图像画布上引入像素级别的实例感知损失，实现注释者可将识别错误共享至整张图片中的所有区域并着重核查所有区域中机器产生的最大误差。通过在 COCO 全景数据集上进行实验，证明了该交互式完整图像分割方法实现了 5％的 IoU 增益，在每个区域四次极限点击和四次更正涂鸦的情况下达到了 90％的 IoU。
Dec, 2018
基于深度学习的医学图像自动分割系统面临大量数据标注成本和模型迭代中的高延迟问题，本研究提出了一种动态交互学习框架，通过将交互式分割与端到端弱监督学习和流式任务集成，解决了这些挑战。我们开发了新颖的重放和标签平滑方案，克服了灾难性遗忘并提高了在线学习的鲁棒性，并在每个图像上同时优化前端预测和深度学习分段器的多轮交互式分割模块。通过空间残差图，我们训练的分段器明确地指导下一步的用户干预，从而实现了弱监督信号的蒸馏。通过在三维分割任务（NCI-ISBI2013 和 BraTS2015）上的评估，我们的框架生成了与离线训练基准相匹配的在线学习性能。此外，我们的框架减少了 62% 的标注工作量，并且在与具有完整 ground truth 的在线和离线学习进行对比时，生成了具有竞争力的 dice 分数。此外，由于其灵活性和响应能力，这样的框架可以部署在保证数据安全和简便维护的医院防火墙之后。
Dec, 2023
我们提出了一种无需训练的提示跟踪框架，将稀疏点和框跟踪相结合，采用交叉循环时空模块从多次交互中自适应地聚合引用信息，实现了在流行的 VOS 数据集上稳定的零样本视频分割结果，保持了性能和交互时间之间的良好权衡。
Jun, 2024
本研究介绍一种新颖的基于深度学习的算法来解决交互式物体选择的问题，该算法可以将用户提供的正负反馈转换成欧几里得距离图，并与图像的 RGB 通道拼接，采用多种随机采样策略生成图像和用户交互对，通过 Fine-tune 深度反卷积网络，最终结果融合图像概率图和图切割优化，实现对物体边界的精细提取。实验结果表明，该算法具有较好的泛化能力，优于所有现有的交互式物体选择方法。
Mar, 2016
我们介绍了一种名为 Granularity-Controllable Interactive Segmentation（GraCo）的新方法，通过引入额外参数来精确控制预测粒度，增强了交互系统的自定义性，消除了冗余并解决了模糊性。我们设计了一个任意粒度掩码生成器，利用预训练的 IS 模型的语义属性自动生成丰富的掩码 - 粒度对，以提供必要的引导来控制输出粒度，这使得 GraCo 比先前的方法具有显著优势，展示了它作为灵活的标注工具在各种分割场景中的潜力。
May, 2024
本文介绍了一种基于深度神经网络的交互式方法，用于航空影像的多类别分割，通过与用户注释的拼接，不断优化分割结果，从实验中证明了用户注释在该方法中具有重要意义。
Mar, 2020
提出一种通过新颖的相机设计和基于 ViT 的算法来减轻高光谱分割的数据占用和计算负担的方法。相机能够自适应地在不同分辨率下采样图像区域或补丁，而不是以高分辨率捕获整个高光谱立方体。分割算法与相机协同工作，仅将基于 ViT 的分割应用于自适应选择的补丁。通过模拟和实际硬件平台展示了精确的分割结果和减少的计算负担。
Jun, 2024