Jul, 2023

无上下文的多样手势类型交互分割

PDF
TL;DR我们提出了一个简化的交互分割任务，支持多种手势类型，没有指定手势类型，通过引入第一个具有多个手势类型的交互分割数据集和一个新的评估度量来支持该任务。我们分析了许多交互分割算法，并分享了我们的新数据集。
interactive segmentationgesture typesevaluation metricalgorithm analysisdataset sharing
发现论文，激发创造
  • TETRIS：探索交互分割的鲁棒性

    通过对交互式分割模型的实际用户研究，发现常规评估策略的直观假设可能无法成立，因此建议采用直接优化的白盒对抗攻击方法来评估交互式分割模型的鲁棒性，并引入了一种新的鲁棒性度量标准和多个模型的广泛评估结果。

    Feb, 2024

  • 野外交互式视频对象分割

    本文介绍一种基于人工交互的视频对象分割方法，使用深度学习技术进行交互式图像分割，并应用于视频对象分割中。在 GrabCut 数据集上，我们的方法以仅需 3.8 次点击的平均值获得 90％的 IOU，与当前最先进的方法相比，具有更高的准确性。此外，我们研究了用户的使用模式和提供的纠正类型等，为进一步改进交互式视频分割提供重要的见解。

    Dec, 2017

  • 与人类标注者进行大规模交互式物体分割

    本文提出了一种基于深度交互式分割模型的交互式对象分割方法，并利用真实人类注释数据集发布了一个实例分割数据集，同时还提供了一个自动评估模型以更好地保证注释质量。

    Mar, 2019

  • 迭代训练的交互分割

    本研究提出一种基于迭代式训练策略的交互式对象分割系统，利用用户输入的 clicks 作为卷积网络的输入，相较于现有的启发式 click 采样策略，本方法取得了更优的分割结果。

    May, 2018

  • 从示例中学习进行交互式图像分割

    我们介绍了交互式图像分割框架，用于提取单个目标和相同类别中的多个目标的满意掩码。通过利用 Transformer 骨干网络从图像和交互中提取特征，我们的模型能够达到比以前方法更好的性能，减少用户的劳动量并具备灵活和实用的注释工具的潜力。

    Jun, 2024

  • 联合考虑所有区域的交互式全图像分割

    研究提出了一种基于涂鸦的交互式全图像注释框架，将 Mask-RCNN 改进成快速交互式分割框架，并在完整的图像画布上引入像素级别的实例感知损失，实现注释者可将识别错误共享至整张图片中的所有区域并着重核查所有区域中机器产生的最大误差。通过在 COCO 全景数据集上进行实验，证明了该交互式完整图像分割方法实现了 5％的 IoU 增益，在每个区域四次极限点击和四次更正涂鸦的情况下达到了 90％的 IoU。

    Dec, 2018

  • 快速灵活的互动分割技术：适用于任何医学图像的 ScribblePrompt

    医学图像语义分割是科学研究和临床护理的重要部分。本文介绍了 ScribblePrompt，一种医学图像交互分割框架，它可以通过涂鸦、点击和边界框来使人类标注者对未知结构进行分割，具有较高的效率和性能。

    Dec, 2023

  • 基于多模态数据的手术手势分割和识别的分层半监督学习框架

    通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法，该研究提出了一种用于手术姿势分割和手势识别的技术，并在公开可用的 JIGSAWS 数据库上进行了评估，得到了较高的分割和识别准确度。

    Jul, 2023

  • 使用遮罩引导恢复迭代训练进行交互式分割

    本文介绍了一种基于前向传递的点击交互式分割模型，无需额外的优化技巧即可实现最新的最佳结果，并且对于性能的分析表明，使用 COCO 和 LVIS 的训练数据集所训练的模型表现最佳。

    Feb, 2021

  • 跨模态视觉转换器的交互式图像分割

    本研究提出一种交互式图像分割网络，利用跨模态视觉 transformers 来更好地指导学习过程，并且在多个基准测试中实现了优越的性能表现，具有实用的注释工具潜力。

    Jul, 2023