Oct, 2024

SAM2Long：利用无训练的记忆树增强SAM 2的长视频分割

HTML
PDF
TL;DR本研究针对Segment Anything Model 2 (SAM 2) 在复杂长视频分割中存在的“误差累积”问题，提出了一种改进的无训练视频对象分割方法SAM2Long。此方法通过对每帧的分割不确定性进行考虑，以约束树搜索的方式从多个分割路径中选择视频级的最优结果，从而有效提升了对复杂长视频的分割和跟踪能力。
发现论文，激发创造
  • XMem：基于Atkinson-Shiffrin记忆模型的长时视频对象分割

    XMem使用Atkinson-Shiffrin模型的多个独立特征存储器来解决长视频对象分割中的内存资源限制问题，通过记忆强化算法实现主动储存工作内存元素到长期内存中，使得预测效果突破先前最优结果并在短视频数据集上与当今最优算法表现持平。

    Jul, 2022

  • SAM-PD: 通过提示去噪，在跟踪和分割视频中，SAM能带我们走多远

    本文探讨了将Segment Anything Model（SAM）应用于视频对象跟踪和分割任务的潜力，通过使用多种prompt和引入基于点的优化阶段，实现了在三个数据集上对比性能相当的视频对象/实例分割任务，该方法为基于SAM的后续应用赋予了跟踪能力。

    Mar, 2024

  • 运动物体分割：只需SAM（和Flow）

    通过将光流与Segment Anything模型(SAM)结合，本文研究了两种模型，一种使用光流作为输入，另一种使用RGB作为输入，这两种简单的方法在单个和多个物体分割基准测试中，凭借其出色的性能超过了所有先前的方法，同时还将这些基于帧的分割扩展到了保持对象身份的序列级分割。

    Apr, 2024

  • SAM 2：在图像和视频中进行任意分割

    本研究针对图像和视频中的可提示视觉分割问题提出了Segment Anything Model 2（SAM 2），构建了一个用户交互的数据引擎，以收集迄今为止最大的video segmentation数据集。通过使用我们的模型，视频分割的准确性显著提高，且交互次数减少到以前方法的三分之一，展现出在图像分割方面比之前的模型更快和更精准的处理能力。

    Aug, 2024

  • 评估SAM2在伪装物体检测中的作用：从SAM到SAM2

    本研究解决了SAM2在无提示自动模式下对图像中不同物体的感知能力下降的问题。通过研究伪装物体检测这一挑战性任务，文章提出了一种新的评估方法，以期激发研究者对SAM模型家族的进一步探索。研究结果显示，尽管SAM2在视频和图像分割方面有显著提升，其在特定应用上的局限性仍值得关注。

    Jul, 2024

  • 从SAM到SAM 2：探索Meta的Segment Anything模型的改进

    本研究解决了在计算机视觉中自动分割对象的精确性和效率不足的问题。通过扩展Segment Anything Model（SAM）至视频，SAM 2利用前后帧的记忆生成准确的全视频分割，提供近实时性能。该工作显示出SAM的演变以及未来在计算机视觉技术改进中的重要性。

    Aug, 2024

  • 通过SAM 2进行视频物体分割：LSVOS挑战VOS赛道的第四个解决方案

    本研究针对视频物体分割（VOS）任务中存在的挑战，提出了Segment Anything Model 2（SAM 2），该模型通过用户交互构建数据引擎，从而收集了迄今为止最大的分割数据集。研究结果表明，SAM 2在无需微调的情况下，在更具挑战性的VOS数据集MOSE和LVOS上表现出色，取得了75.79的J

    Aug, 2024

  • 释放SAM2在生物医学图像和视频中的潜力：一项调查

    本研究探讨了现有的分割基础模型在处理生物医学图像和视频方面的应用，尤其聚焦于SAM2模型的适用性和局限性。通过适应和微调，研究指出SAM2在不同数据集和任务中的表现存在差异，但在减少注释负担和实现零-shot分割方面展现出潜力。该工作强调了填补自然与医学图像领域差距的重要性，促进了临床应用的发展。

    Aug, 2024

  • 针对类别无关实例级分割的SAM 2评估研究

    本文针对Segment Anything Model 2（SAM2）在类别无关实例级分割任务中的表现进行了评估，填补了现有研究中的评测空白。通过采用不同的提示策略，研究揭示了SAM2在显著实例分割、伪装实例分割和阴影实例检测等场景中的性能差异以及对高分辨率结构分割的局限性。结果显示，SAM2的表现具有场景依赖性，提出利用SAM2适配器以提升大规模视觉模型在该领域的性能上限的建议。

    Sep, 2024

  • 当SAM2遇上视频伪装目标分割：全面评估与适应

    本研究探讨了Segment Anything Model 2（SAM2）在视频伪装目标分割（VCOS）中的应用和性能，解决了伪装物体难以检测的难题。研究中评估了SAM2在不同数据集上的表现，并通过与现有多模态大语言模型的整合及特定的数据集微调，发现SAM2在视频中的伪装物体检测中具备出色的零样本能力，这一能力可以通过调整参数进一步提升。

    Sep, 2024