Sep, 2024

当SAM2遇上视频伪装目标分割：全面评估与适应

HTML
PDF
TL;DR本研究探讨了Segment Anything Model 2（SAM2）在视频伪装目标分割（VCOS）中的应用和性能，解决了伪装物体难以检测的难题。研究中评估了SAM2在不同数据集上的表现，并通过与现有多模态大语言模型的整合及特定的数据集微调，发现SAM2在视频中的伪装物体检测中具备出色的零样本能力，这一能力可以通过调整参数进一步提升。
发现论文，激发创造
  • SAM模型是否能用于所有分割任务？当SAM模型遇到伪装目标检测任务

    本文研究了最近发布的 Meta AI Research 的分割模型 SAM 在伪装目标检测任务上的性能，对比了其他 22 种伪装目标检测方法的表现，并提出了构建更强大的 SAM 解决伪装目标检测任务的进一步研究机会。

    Apr, 2023

  • SAM-PM: 基于时空注意力的视频隐蔽物体检测增强

    提出了一种新的方法，即SAM传播模块（SAM-PM），通过采用时空交叉注意机制在SAM中实施时间一致性，将时间一致性和领域专业知识有效地融入分割网络，只增加了不到SAM参数的1％，与最新的最先进技术相比，在VCOD基准测试中实现了显著性能改进。

    Jun, 2024

  • SAM 2：在图像和视频中进行任意分割

    本研究针对图像和视频中的可提示视觉分割问题提出了Segment Anything Model 2（SAM 2），构建了一个用户交互的数据引擎，以收集迄今为止最大的video segmentation数据集。通过使用我们的模型，视频分割的准确性显著提高，且交互次数减少到以前方法的三分之一，展现出在图像分割方面比之前的模型更快和更精准的处理能力。

    Aug, 2024

  • 评估SAM2在伪装物体检测中的作用：从SAM到SAM2

    本研究解决了SAM2在无提示自动模式下对图像中不同物体的感知能力下降的问题。通过研究伪装物体检测这一挑战性任务，文章提出了一种新的评估方法，以期激发研究者对SAM模型家族的进一步探索。研究结果显示，尽管SAM2在视频和图像分割方面有显著提升，其在特定应用上的局限性仍值得关注。

    Jul, 2024

  • SAM2-适配器：在下游任务（伪装、阴影、医学图像分割等）中评估与适配

    本研究针对Segment Anything 2在处理复杂的低级分割任务上的局限性，提出了SAM2-适配器，这是首个旨在解决这些问题的适配器。研究表明，SAM2-适配器在医学图像分割、伪装物体检测和阴影检测等下游任务上达到了新的最先进结果，显著提高了模型的通用性和组合能力。

    Aug, 2024

  • 通过SAM 2进行视频物体分割：LSVOS挑战VOS赛道的第四个解决方案

    本研究针对视频物体分割（VOS）任务中存在的挑战，提出了Segment Anything Model 2（SAM 2），该模型通过用户交互构建数据引擎，从而收集了迄今为止最大的分割数据集。研究结果表明，SAM 2在无需微调的情况下，在更具挑战性的VOS数据集MOSE和LVOS上表现出色，取得了75.79的J

    Aug, 2024

  • 释放SAM2在生物医学图像和视频中的潜力：一项调查

    本研究探讨了现有的分割基础模型在处理生物医学图像和视频方面的应用，尤其聚焦于SAM2模型的适用性和局限性。通过适应和微调，研究指出SAM2在不同数据集和任务中的表现存在差异，但在减少注释负担和实现零-shot分割方面展现出潜力。该工作强调了填补自然与医学图像领域差距的重要性，促进了临床应用的发展。

    Aug, 2024

  • 针对类别无关实例级分割的SAM 2评估研究

    本文针对Segment Anything Model 2（SAM2）在类别无关实例级分割任务中的表现进行了评估，填补了现有研究中的评测空白。通过采用不同的提示策略，研究揭示了SAM2在显著实例分割、伪装实例分割和阴影实例检测等场景中的性能差异以及对高分辨率结构分割的局限性。结果显示，SAM2的表现具有场景依赖性，提出利用SAM2适配器以提升大规模视觉模型在该领域的性能上限的建议。

    Sep, 2024

  • 面向水下伪装物体追踪的研究：SAM与SAM 2的实验评估

    本研究解决了现有追踪数据集主要集中在开放空气场景下的问题，首次提出了大型水下伪装物体追踪数据集UW-COT。通过对比Segment Anything Model (SAM)及其升级版SAM 2在复杂水下环境中的表现，研究发现SAM 2在处理水下伪装物体方面显著优于SAM，为水下追踪技术的发展提供了重要依据。

    Sep, 2024

  • SAM2Long：利用无训练的记忆树增强SAM 2的长视频分割

    本研究针对Segment Anything Model 2 (SAM 2) 在复杂长视频分割中存在的“误差累积”问题，提出了一种改进的无训练视频对象分割方法SAM2Long。此方法通过对每帧的分割不确定性进行考虑，以约束树搜索的方式从多个分割路径中选择视频级的最优结果，从而有效提升了对复杂长视频的分割和跟踪能力。

    Oct, 2024