AGILE3D model supports simultaneous segmentation of multiple 3D objects, yields more accurate segmentation masks with fewer user clicks, and offers faster inference, setting a new state of the art in interactive segmentation of 3D point clouds.

Jun, 2023

本文介绍一种基于人工交互的视频对象分割方法，使用深度学习技术进行交互式图像分割，并应用于视频对象分割中。在 GrabCut 数据集上，我们的方法以仅需 3.8 次点击的平均值获得 90％的 IOU，与当前最先进的方法相比，具有更高的准确性。此外，我们研究了用户的使用模式和提供的纠正类型等，为进一步改进交互式视频分割提供重要的见解。

Dec, 2017

本文提出了 ClickSeg，一种新颖的基于点击级弱监督的 3D 实例分割方法，仅需要每个实例的一个点注释；通过提出基线弱监督训练方法和新的训练框架，使用 k-means 和固定初始种子进行聚类，实验证明 ClickSeg 在 ScanNetV2 和 S3DIS 数据集上的结果优于之前最佳的弱监督实例分割方法，并且在 0.02% 的监督信号下，准确率达到了完全监督对应方法的约 90%；同时，在相同注释设置下，也实现了弱监督方法中最先进的语义分割结果。

Jul, 2023

LSeg 是一种用于语言驱动语义图像分割的新模型，使用文本编码器计算输入标签的嵌入，和基于 transformer 的图像编码器计算输入图像的嵌入，实现像 “草” 或 “建筑” 这样描述性的输入标签的密集像素嵌入，该模型利用语义类相应的文本嵌入与像素嵌入各自计算来训练图像编码器，实现了在测试阶段对未曾见过的类别进行泛化而不需要重新训练或仅需要单个样本的训练，且具有高度竞争的零 - shot 性能。

Jan, 2022

本文提出了一种深度学习交互分割方法，通过将用户交互与 CNN 结合，使用测地距离变换来提高自动 CNN 分割的精度和鲁棒性，并将用户交互作为硬约束集成到反向传播式 CRF 中，以实现在更高的精度下减少用户干预的目的。实验结果表明，与传统的交互式方法相比，该方法在自动 CNN 分割的基础上实现了大幅提升，并且在少数用户干预和更短的时间内具有可比甚至更高的准确性。

Jul, 2017

本研究提出一种基于迭代式训练策略的交互式对象分割系统，利用用户输入的 clicks 作为卷积网络的输入，相较于现有的启发式 click 采样策略，本方法取得了更优的分割结果。

May, 2018

基于深度学习的医学图像自动分割系统面临大量数据标注成本和模型迭代中的高延迟问题，本研究提出了一种动态交互学习框架，通过将交互式分割与端到端弱监督学习和流式任务集成，解决了这些挑战。我们开发了新颖的重放和标签平滑方案，克服了灾难性遗忘并提高了在线学习的鲁棒性，并在每个图像上同时优化前端预测和深度学习分段器的多轮交互式分割模块。通过空间残差图，我们训练的分段器明确地指导下一步的用户干预，从而实现了弱监督信号的蒸馏。通过在三维分割任务（NCI-ISBI2013 和 BraTS2015）上的评估，我们的框架生成了与离线训练基准相匹配的在线学习性能。此外，我们的框架减少了 62% 的标注工作量，并且在与具有完整 ground truth 的在线和离线学习进行对比时，生成了具有竞争力的 dice 分数。此外，由于其灵活性和响应能力，这样的框架可以部署在保证数据安全和简便维护的医院防火墙之后。

Dec, 2023

本文提出了一种新颖的生成网络（SegAttnGAN），该网络利用附加的分割信息来进行文本到图像综合任务，通过引入分割数据对生成器训练提供有用的指导，相较于之前的最先进技术，本模型可以生成更具真实感和更高量化准确性的图像，我们在 CUB 数据集上获得了 4.84 的内在分数和在 Oxford-102 数据集上获得了 3.52 的分数。此外，我们还测试了自我关注 SegAttnGAN，该模型使用生成的分割数据而非数据集的掩码进行注意，并获得了类似的高质量结果，说明我们的模型可用于文本到图像综合任务。

May, 2020

我们提出了一个简化的交互分割任务，支持多种手势类型，没有指定手势类型，通过引入第一个具有多个手势类型的交互分割数据集和一个新的评估度量来支持该任务。我们分析了许多交互分割算法，并分享了我们的新数据集。

Jul, 2023

本文将 IS 任务作为基于高斯过程的像素二元分类问题，使用变分推理将 GP 后验近似为双空间形式，提出了 GPCIS 框架用于精细传播和提升分割的准确性，并在多个基准实验中验证了其优越性和高效性。

Feb, 2023