Jun, 2023

理解片段任意模型：SAM 偏向纹理而不是形状

PDF
TL;DR对比人类视觉主要依赖形状来识别物体，深度图像识别模型被广泛认为存在对纹理的偏见。最近，元研究团队发布了首个图像分割基础模型，称为 Segment Anything Model（SAM），这引起了很大的关注。在本研究中，我们从纹理和形状的角度理解了 SAM。与以标签为导向的识别任务不同，SAM 被训练为基于提示预测覆盖物体形状的掩码。然而，在本研究中，我们揭示了一个有趣的发现：SAM 对纹理样式的密集特征更具偏向性，而非形状。这一有趣的发现得到了一个新颖的设置的支持，在该设置中我们将纹理和形状提示分离，并构建了纹理 - 形状提示冲突进行掩码预测。
发现论文，激发创造
  • 关于区分任何模型（SAM）的调查：视觉基础模型遇见促进工程

    该文通过第一次全面调查介绍了受到重大关注的 Meta AI Research 开发的 Segment anything model（SAM）的性能表现和多种应用情况，并呼吁读者对该模型进行新的研究以促进其进一步发展。

    May, 2023

  • 将 “Promoting Segment Anything Model towards Highly Accurate Dichotomous Image Segmentation” 翻译为专业简体中文

    通过输入「Segment Anything Model」（SAM）的简单提示框，并将 SAM 的结果输出作为 IS5Net 的输入，可以极大地提高高精度的二元图像分割的效果。

    Dec, 2023

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • 医学图像分割中的 Segment-Anything 模型（SAM）的准确性

    通过实验探究 SAM 模型对 12 个不同器官、图像模式和健康情况的医学图像数据集的精确度及其在医学图像分割方向上的应用前景，发现 SAM 模型在没有重新训练医学图像时准确度没有 U-Net 和其他深度学习模型高。

    Apr, 2023

  • 关于 Segment Anything Model (SAM) 鲁棒性的实证研究

    对 Segment Anything Model 模型进行了全面的鲁棒性研究，发现它在面对多种图像扰动时的性能普遍下降，在特定数据集上定制提示技巧和利用领域知识，可以提高模型的弹性和解决数据集特定的挑战，为实际应用提供更健壮和多功能的图像分割解决方案。

    May, 2023

  • 医学影像分割模型：实验研究

    本文对 Segment Anything Model 在医学图像中的效果进行了评估，结果表明性能受任务和数据集影响较大，需要进一步研究来适应医学图像领域。

    Apr, 2023

  • 探究 SAM 在不同实际应用中的问题：任何东西的分段并不总是完美的

    这篇研究论文讨论了 Segment Anything Model 在各个领域的表现及其未来发展前景，并提供了有助于未来研究活动的洞见，以完成通用分割任务。

    Apr, 2023

  • 遥感应用中的分段任意物模型 (SAM)：从零到一次拍摄

    本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model（SAM）应用于遥感图像分析领域，特别是处理来自不同地理背景的航空和轨道影像，实现 SAM 在遥感影像处理中的潜力。

    Jun, 2023

  • 医学图像分割模型？

    SAM 是用于图像分割的第一个通用基础模型，能以自动或手动提示的方式进行零 - shot 图像分割，并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战，SAM 在某些情况下表现出色，但需要结合手动标注才能取得更好的表现。

    Apr, 2023

  • 非可见光谱影像应用的片段任意模型性能评估与变分提示

    Segment Anything Model (SAM) 通过使用不同的输入提示（如文本、边界框、点或掩膜）生成掩膜，克服了特定数据集稀缺性的约束，评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力，结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象，但对于点提示而言，表现不稳定，特别是在分割细长物体和有机材料方面，SAM 的性能较差，这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。

    Apr, 2024