Feb, 2024

DeiSAM: 用示意参考完成任何细分任务

PDF
TL;DR大规模、预训练的神经网络在各种任务中展示了强大的能力，包括零样本图像分割。然而，由于缺乏复杂场景中的推理能力，深度学习方法无法可靠地解释这种指示性表示。为了解决这个问题，我们提出了 DeiSAM-- 一个将大规模预训练的神经网络与可微分逻辑推理器相结合的方法，用于指示性可提示的分割。通过利用大型语言模型（LLMs）生成一阶逻辑规则并在生成的场景图上进行可微的前向推理，DeiSAM 能够通过将目标与逻辑推断的图像区域匹配来分割对象。作为我们评估的一部分，我们提出了 Deictic Visual Genome（DeiVG）数据集，其中包含了配对的视觉输入和复杂的指示性文本提示。我们的实证结果表明，DeiSAM 在指示性可提示的分割方面相较于纯数据驱动的基线有了显著的改进。
neural networkszero-shot image segmentationdeictic descriptionsreasoning capabilitiesdeisam
发现论文，激发创造
  • AI-SAM: 自动交互式分段模型

    我们介绍了一种新颖的范式及其第一个模型：自动与交互式分割模型（AI-SAM）。在这个范式中，我们对提示品质进行了全面分析，并引入了创新的自动与交互式提示器（AI-Prompter），它在自动生成初始点提示的同时接受额外的用户输入。我们的实验结果证明了 AI-SAM 在自动设置下的有效性，实现了最先进的性能。更重要的是，它提供了灵活性以整合额外的用户提示，从而进一步提升性能。项目页面可在链接提供的 URL 中找到。

    Dec, 2023

  • Surgical-DeSAM: 机器人手术中仪器分割的 SAM 解耦

    研究通过开发 Surgical-DeSAM 方法，利用 Bounding Box 提示和实时机器人手术，实现了实时仪器分割，并在 MICCAI 手术仪器分割挑战 EndoVis 2017 和 2018 数据集上显著改进仪器分割方法的性能。

    Apr, 2024

  • 学习对呼叫分段任何模型

    通过空间 - 语义提示学习有效的语义和空间提示，优化了 SAM 模型在图像分割性能上的效果。

    Jan, 2024

  • GeoSAM：稀疏与密集视觉提示的自动化移动基础设施分割中的 SAM 微调

    提出了一种基于 Segment Anything Model (SAM) 的新框架 Geographical SAM (GeoSAM)，通过使用来自零样本学习的稠密视觉提示和预训练的 CNN 分割模型的稀疏视觉提示，实现了对地理图像中的移动设施进行精细调优的策略。所提出的 GeoSAM 在地理图像分割中优于现有方法，特别是在道路基础设施、行人基础设施和平均方面分别提高了 20%、14.29% 和 17.65%，在实现对地理图像中包括道路和行人基础设施的移动设施的分割上取得了重大突破。

    Nov, 2023

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • SAM-PD: 通过提示去噪，在跟踪和分割视频中，SAM 能带我们走多远

    本文探讨了将 Segment Anything Model（SAM）应用于视频对象跟踪和分割任务的潜力，通过使用多种 prompt 和引入基于点的优化阶段，实现了在三个数据集上对比性能相当的视频对象 / 实例分割任务，该方法为基于 SAM 的后续应用赋予了跟踪能力。

    Mar, 2024

  • DeSAM: 通用医学图像分割的分段解耦模型

    本文提出了一个基于深度学习技术的医学图像分割模型，该模型改进了 Segment Anything Model (SAM) 并提出了一个新的模型 ——decoupling SAM (DeSAM)，通过解耦 mask 的生成和 prompt 嵌入来提高在自动模式下的泛化能力，实验结果表明 DeSAM 方法比之前的最新领域泛化方法的 dice 分数平均提高了 8.96%（从 70.06% 到 79.02%），并且 DeSAM 方法可以在入门级 GPU 上进行训练。

    Jun, 2023

  • 将 “Promoting Segment Anything Model towards Highly Accurate Dichotomous Image Segmentation” 翻译为专业简体中文

    通过输入「Segment Anything Model」（SAM）的简单提示框，并将 SAM 的结果输出作为 IS5Net 的输入，可以极大地提高高精度的二元图像分割的效果。

    Dec, 2023

  • FocSAM: 深入研究分割任何物体中的聚焦对象

    FocSAM 通过 Dynamic Window Multi-head Self-Attention 和 Pixel-wise Dynamic ReLU 的优化来提高 Segment Anything Model (SAM) 在交互式分割方面的性能，使其与现有的分割质量最先进的方法相匹配，但只需使用该方法推理时间的约 5.6%。

    May, 2024

  • 自动图像数据标注的分段模型：基于 Grounding DINO 的文本提示的实证研究

    通过对八个公开数据集的实证研究，揭示了参考表达理解 (REC) 框架在特定领域中存在的预测错误问题，并提出了一种简单的策略来减轻这些错误，进而改进了基于 REC 的检测和自动分割，同时报告了在多个专业领域中使用 SAM 技术进行分割的性能显著提高和节省注释时间。

    Jun, 2024