May, 2024

GraCo：可控粒度的交互分割

PDF
TL;DR我们介绍了一种名为 Granularity-Controllable Interactive Segmentation（GraCo）的新方法，通过引入额外参数来精确控制预测粒度，增强了交互系统的自定义性，消除了冗余并解决了模糊性。我们设计了一个任意粒度掩码生成器，利用预训练的 IS 模型的语义属性自动生成丰富的掩码 - 粒度对，以提供必要的引导来控制输出粒度，这使得 GraCo 比先前的方法具有显著优势，展示了它作为灵活的标注工具在各种分割场景中的潜力。
interactive segmentationgranularity-controllablemulti-granularity outputredundancycustomization
发现论文，激发创造
  • 交互式分割作为高斯过程分类

    本文将 IS 任务作为基于高斯过程的像素二元分类问题，使用变分推理将 GP 后验近似为双空间形式，提出了 GPCIS 框架用于精细传播和提升分割的准确性，并在多个基准实验中验证了其优越性和高效性。

    Feb, 2023

  • 面向粒度调整的像素级语义标注

    提供了一种在未标记数据上进行用户定义粒度层次的语义分割的方法，通过累积全局语义信息并学习映射函数，使得带有粒度调整的语义识别的 Segment Anything Model（SAM）能够用于像素级语义注释，实验结果在 PASCAL VOC 2012 和 COCO-80 数据集上分别比现有最先进方法的 mIoU 提高了 17.95% 和 5.17%。

    Dec, 2023

  • 野外交互式视频对象分割

    本文介绍一种基于人工交互的视频对象分割方法，使用深度学习技术进行交互式图像分割，并应用于视频对象分割中。在 GrabCut 数据集上，我们的方法以仅需 3.8 次点击的平均值获得 90％的 IOU，与当前最先进的方法相比，具有更高的准确性。此外，我们研究了用户的使用模式和提供的纠正类型等，为进一步改进交互式视频分割提供重要的见解。

    Dec, 2017

  • 联合考虑所有区域的交互式全图像分割

    研究提出了一种基于涂鸦的交互式全图像注释框架，将 Mask-RCNN 改进成快速交互式分割框架，并在完整的图像画布上引入像素级别的实例感知损失，实现注释者可将识别错误共享至整张图片中的所有区域并着重核查所有区域中机器产生的最大误差。通过在 COCO 全景数据集上进行实验，证明了该交互式完整图像分割方法实现了 5％的 IoU 增益，在每个区域四次极限点击和四次更正涂鸦的情况下达到了 90％的 IoU。

    Dec, 2018

  • 语义化 SAM：以任意粒度分段和识别任何事物

    通过引入 Semantic-SAM，我们提出了一种通用的图像分割模型，能够以任意所需的细粒度对任何物体进行分割和识别，具备语义感知和细粒度丰富性，实验证明我们的模型成功实现了语义感知和细粒度丰富性。

    Jul, 2023

  • 与人类标注者进行大规模交互式物体分割

    本文提出了一种基于深度交互式分割模型的交互式对象分割方法，并利用真实人类注释数据集发布了一个实例分割数据集，同时还提供了一个自动评估模型以更好地保证注释质量。

    Mar, 2019

  • 多兆像素图像中微小物体的交互式分割和可视化

    介绍了一个互动的图像分割和可视化框架，用于识别、检查和编辑大型多兆像素高动态范围（HDR）图像中微小物体 (仅有几个像素宽)，特征集不仅适用于天文数据，而且可以成为科学领域 (如生物医学、材料科学、遥感等) 和计算机视觉中人机协同小物体分割的有用研究支持工具。该工具可以方便地托管在 Web 上，为任何设备提供多用户访问和 GPU 加速。

    Apr, 2022

  • 基于分离和抓取方法的自监督交互式物体分割

    该研究提出了一种机器人学习方法，利用在未见过新物体时的交互作用，与避免手动标记数据集的费时过程，收集每个物体的训练标签进行微调来提高分段模型的性能。该系统实现了在模拟杂乱场景中 70% 的分离成功率，而对于玩具积木、模拟 YCB 对象和真实世界的新物体，交互式分割的平均精度分别达到了 87.8%、73.9% 和 69.3%，超过了几个基线。

    Jul, 2022

  • 一种用于自动化 3D 医学图像分割的动态交互学习框架

    基于深度学习的医学图像自动分割系统面临大量数据标注成本和模型迭代中的高延迟问题，本研究提出了一种动态交互学习框架，通过将交互式分割与端到端弱监督学习和流式任务集成，解决了这些挑战。我们开发了新颖的重放和标签平滑方案，克服了灾难性遗忘并提高了在线学习的鲁棒性，并在每个图像上同时优化前端预测和深度学习分段器的多轮交互式分割模块。通过空间残差图，我们训练的分段器明确地指导下一步的用户干预，从而实现了弱监督信号的蒸馏。通过在三维分割任务（NCI-ISBI2013 和 BraTS2015）上的评估，我们的框架生成了与离线训练基准相匹配的在线学习性能。此外，我们的框架减少了 62% 的标注工作量，并且在与具有完整 ground truth 的在线和离线学习进行对比时，生成了具有竞争力的 dice 分数。此外，由于其灵活性和响应能力，这样的框架可以部署在保证数据安全和简便维护的医院防火墙之后。

    Dec, 2023

  • 分段任何三维高斯模型

    介绍了一种新颖的 3D 交互分割方法 Segment Any 3D GAussians (SAGA)，通过良好设计的对比训练将由分割基础模型生成的多颗粒度 2D 分割结果高效嵌入到 3D 高斯点特征中，实现了多颗粒度分割和适应各种提示，包括点，涂鸦和 2D 蒙版。SAGA 可以在毫秒内完成 3D 分割，相比先前的 SOTA 加速近 1000 倍。

    Dec, 2023