Aug, 2024

SAM-REF：重新思考图像提示协同以实现细分的精炼

HTML
PDF
TL;DR本研究针对现有交互分割模型在图像与提示有效结合上的不足，提出了一种全新的SAM-REF双阶段精炼框架。通过将图像和提示的全局与局部信息进行高效整合，研究显示该方法在复杂情况下的分割质量优于当前最优模型，且保持了高效性。
发现论文，激发创造
  • 关于区分任何模型（SAM）的调查：视觉基础模型遇见促进工程

    该文通过第一次全面调查介绍了受到重大关注的Meta AI Research开发的Segment anything model（SAM）的性能表现和多种应用情况，并呼吁读者对该模型进行新的研究以促进其进一步发展。

    May, 2023

  • 稳定分段设定模型

    通过学习可变形偏移对图像特征进行采样来提高Segment Anything Model (SAM) 在各种情况下的分割稳定性，并验证了该方法的有效性和优势，从而使其成为更加稳健的分割解决方案。

    Nov, 2023

  • 学习对呼叫分段任何模型

    通过空间-语义提示学习有效的语义和空间提示，优化了 SAM 模型在图像分割性能上的效果。

    Jan, 2024

  • CAT-SAM：面向少样本适应的分割模型的条件调整网络

    提出了一种名为CAT-SAM的ConditionAl Tuning网络，用于适应处理各种非传统图像目标分割任务，通过只使用少量的目标样本实现与Segment Anything Model (SAM)相结合，提升了目标分割性能。

    Feb, 2024

  • SAM-Lightening: 基于扩张闪烁注意力的轻量级段落任意模型，实现30倍加速

    通过引入SAM-Lightening，一种改进的注意力机制，称为Dilated Flash Attention，本研究在COCO和LVIS数据集上通过渐进蒸馏实现了从原始SAM的知识转移，实现了在运行时间效率和分割准确性方面显著优于最先进方法，每幅图片仅需要7毫秒的推理速度，是原始SAM的30.1倍，且内存占用只有原始SAM的3.5%。

    Mar, 2024

  • 以低延迟、高质量和多样化提示的方式重新思考交互式图像分割

    SegNext是下一代交互式分割方法，具有低延迟、高质量和多样化的支持，通过引入密集设计，细化各种视觉提示的表示，提高了综合型模型的分割质量，在HQSeg-44K和DAVIS上表现出色。

    Mar, 2024

  • 在新情境中使用时适应分段任何事物模型

    通过利用用户交互和构建的掩码生成伪标签，我们提出了一种在实时使用过程中可以调整Segment Anything Model (SAM)的框架，从而显著减小了在新领域或对象类型中进行交互式分割时的失效率。我们的方法在FR_20@85和FR_30@90指标上实现了相对约48.1%和46.6%的减小。

    Apr, 2024

  • FocSAM: 深入研究分割任何物体中的聚焦对象

    FocSAM通过Dynamic Window Multi-head Self-Attention和Pixel-wise Dynamic ReLU的优化来提高Segment Anything Model (SAM)在交互式分割方面的性能，使其与现有的分割质量最先进的方法相匹配，但只需使用该方法推理时间的约5.6%。

    May, 2024

  • SAM-REF：重新思考图像与提示的协同作用以细化分割

    本研究解决了现有分割模型在处理提示信息与图像结合时的低效和信息提取不足的问题。提出的SAM-REF框架通过两阶段的细化过程，实现了图像与提示的全局和局部有效整合，结合了早期结合的精确性与晚期结合的高效性。实验结果表明，该方法在复杂场景的多次交互中表现出卓越的有效性和高效性，超越了当前的先进模型。

    Aug, 2024

  • 自我提示使SAM重新焕发光彩

    该研究针对Segment Anything Model（SAM）在特定领域（如医学图像）应用时性能下降的问题，提出了一种新颖的自我提示微调方法（SAM-SP）。这一方法减少了对专家级提示的依赖，提高了模型的适用性和分割性能，实验结果验证了其在各种特定领域数据集中的有效性。

    Aug, 2024