Jun, 2024

分段和深度感知模型的视觉语言理解

PDF
TL;DR该研究介绍了一种开创性的统一库，利用深度模型和分割模型来增强语言 - 视觉模型的零 - shot 理解能力，通过分割和深度分析在符号实例水平上的融合，提供给语言模型细致入微的图像输入，显著推动了图像解释的进展，该库在野外真实图像的多个领域得到验证，展示了通过神经 - 符号一体化整合视觉和语言分析的新途径，为未来研究开启了新方向。
unified librarydepth anything modelssegment anything modelsneural comprehensionvision-language models
发现论文，激发创造
  • SAM3D：基于 Segment Anything 模型的零样本三维物体检测

    本研究旨在将基础模型的能力发挥在 3D 视觉任务中，在通过 SAM 提出的 BEV 流程管道构建的基础上，通过提高零样例能力实现 3D 物体检测，将其应用于 Waymo 开放数据集，展示其可行性。

    Jun, 2023

  • GoodSAM: 透过分段模型建立领域和能力差距，实现适应扭曲感知的全景语义分割

    本文提出了一种名为 GoodSAM 的新型框架，通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题，同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递，实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升，并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。

    Mar, 2024

  • PosSAM: 全景开放词汇片段检测

    提出了一种开放词汇的全景分割模型，通过端到端框架有机地结合了 Segment Anything Model (SAM) 和视觉 - 语言 CLIP 模型的优势。通过使用局部判别汇聚模块（LDP），克服了 SAM 的局限性，并引入了面向掩膜的选择集成算法（MASE）来自适应地提高生成掩膜的质量，从而在多个数据集上展示了很强的泛化性能，并且在开放词汇全景分割方法方面取得了显著的改进。

    Mar, 2024

  • 分段大杂烩遇上语义交流

    本文提出了一种基于 Segment Anything Model（SAM）的语义编码方法，SAM 作为一种可提示的图像分割模型，在不需要显示训练或具体领域知识的情况下能够完成零样本分割任务，通过应用 SAM 的分割能力和轻量级的神经网络架构进行语义编码，实现了对图像重建质量的提高和通信开销的降低。

    Jun, 2023

  • 提升分段通用模型以实现开放词汇学习

    本研究旨在无缝地将 Segment Anything Model (SAM) 与开放词汇目标检测器集成在一起，引入了 SideFormer 模块和开放区域建议网络 (Open-set RPN) 等创新方法，以提升 SAM 在检测任意对象和开放词汇识别方面的性能。Sambor 在 COCO 和 LVIS 等基准测试中展现出卓越的零样本性能，并与之前的最先进方法竞争力十足，旨在为 SAM 赋予识别多样化对象类别和促进视觉基础模型的开放词汇学习提供有意义的努力。

    Dec, 2023

  • 关于区分任何模型（SAM）的调查：视觉基础模型遇见促进工程

    该文通过第一次全面调查介绍了受到重大关注的 Meta AI Research 开发的 Segment anything model（SAM）的性能表现和多种应用情况，并呼吁读者对该模型进行新的研究以促进其进一步发展。

    May, 2023

  • 开放词汇 SAM3D：理解任何三维场景

    OV-SAM3D 是一个通用框架，用于不需要训练即可理解任何 3D 场景的开放词汇三维场景理解，通过使用 Segment Anything Model (SAM) 生成超点并通过 Recognize Anything Model (RAM) 的开放标签和操作表，结合超点和分割掩模生成最终的 3D 实例，经过对 ScanNet200 和 nuScenes 数据集的实证评估，我们的方法在未知的开放世界环境中超越了现有的开放词汇方法。

    May, 2024

  • Polyp-DAM: 基于深度任意模型的息肉分割

    本文通过利用深度先验的方式，使用大规模模型和卷积神经网络对息肉图像进行分割，在实验证明了该方法的有效性，并观察到该方法在含有噪声的息肉图像上仍表现良好。

    Feb, 2024

  • 视觉及其它领域分割模型综述

    该研究综述了近年来提出的一种称为 SAM 的基础模型，对其的应用于图像处理的各种任务和数据类型进行了分析和总结，并指出了其优点和局限性，为开发更多功能的基础模型和改善 SAM 架构提供了启示。

    May, 2023

  • 具有通用性的视觉增强学习与分割模型

    SAM-G 通过利用 Segment Anything Model (SAM) 的分割能力，结合 DINOv2 和 SAM 的图像特征，为视觉强化学习代理提供高质量的遮罩图像，显著改善了视觉泛化能力，并在 DMControl 和 Adroit 任务中相对于现有方法分别实现了 44% 和 29% 的改进。

    Dec, 2023