Feb, 2024

利用分段任意模型 (SAM) 的多光谱自动转移技术 (MATT) 进行机器驱动的图像标注

PDF
TL;DR本文介绍了一种名为多光谱自动转换技术（MATT）的方法，通过将 Segment Anything Model（SAM）从 RGB 图像中的分割掩模转置，实现对多光谱图像进行高精度和高效率的分割和标记，从而在训练多光谱模型时节省时间并降低少量的平均准确度（mAP），为多光谱对象检测的研究做出了重要贡献，并提出了将这些方法应用于航天多光谱和无人机高光谱图像的未来研究方向。
segment anything modelmultispectral automated transfer techniquemultispectral imagerysegment and labelmean average precision
发现论文，激发创造
  • 遥感应用中的分段任意物模型 (SAM)：从零到一次拍摄

    本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model（SAM）应用于遥感图像分析领域，特别是处理来自不同地理背景的航空和轨道影像，实现 SAM 在遥感影像处理中的潜力。

    Jun, 2023

  • 使用 Segment Anything 模型扩大遥感分割数据集的规模

    本研究提出 SAMRS，通过整合 SAM 和现有的遥感物体检测数据集以生成大规模遥感分割数据集，该数据集在大小上超过了现有的高分辨率遥感分割数据集。SAMRS 可用于语义分割、实例分割和目标检测等研究领域。同时，我们对 SAMRS 进行了全面的分析并希望它能促进遥感分割、特别是大规模模型预训练等方面的研究。

    May, 2023

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • 使用大规模数据集 SATIR 进行知识蒸馏学习热红外图像中的任意目标分割

    该研究提出一种基于 Segment Anything Model（SAM）的预训练框架，利用 SAM 对热成像图像进行伪标签生成，从而提高特定类别的分割结果精度，为处理特殊领域的问题提供了一种有效的解决方案，并生成了一个包含 100,000 多个像素注释标签的大规模热红外分割数据集。

    Apr, 2023

  • 医学图像分割模型？

    SAM 是用于图像分割的第一个通用基础模型，能以自动或手动提示的方式进行零 - shot 图像分割，并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战，SAM 在某些情况下表现出色，但需要结合手动标注才能取得更好的表现。

    Apr, 2023

  • 基于分段全景模型（SAM）的光学遥感图像与地图数据之间的变化检测

    本研究探讨了无监督多模态变化检测在时效性任务和综合多时序地球监测中的重要性，并介绍了利用光学高分辨率图像和 OpenStreetMap（OSM）数据进行无监督多模态变化检测的方法。我们通过使用视觉基础模型 Segmentation Anything Model（SAM）来解决这一任务，利用 SAM 的优秀的零样本迁移能力获得高质量的光学图像分割图，从而能够直接比较这两种异构数据形态。我们引入了两种策略来指导 SAM 的分割过程：'no-prompt' 方法和 'box/mask prompt' 方法。这两种策略分别用于检测一般情况下的土地覆盖变化和在已有背景下识别新的土地覆盖对象。在三个数据集上的实验结果表明，所提出的方法与代表性的无监督多模态变化检测方法相比能够取得更具竞争力的结果。

    Jan, 2024

  • RSAM-Seg：一种基于 SAM 和先验知识集成的遥感图像语义分割方法

    由于高分辨率遥感卫星的发展，遥感相关研究工作获得了极大的便利。SAM 引入了一种普适的预训练模型用于图像分割任务，但是直接应用于遥感图像分割任务效果欠佳。为此，我们提出了 RSAM-Seg，即在 SAM 的基础上进行了适应性修改，消除了对手动干预提供提示的需求。在 SAM 的编码器部分的多头注意力块中，我们提出了 Adapter-Scale 和 Adapter-Feature 模块，它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明，RSAM-Seg 不仅改善了原始 SAM 和 U-Net 在云、建筑物、场地和道路场景中的效果，还突出了其作为辅助注释方法的潜力，可以识别某些数据集的真实值中的缺失区域。此外，在少样本情况下的表现也值得称赞，凸显了其在处理有限数据集时的潜力。

    Feb, 2024

  • 医学影像分割模型：实验研究

    本文对 Segment Anything Model 在医学图像中的效果进行了评估，结果表明性能受任务和数据集影响较大，需要进一步研究来适应医学图像领域。

    Apr, 2023

  • 非可见光谱影像应用的片段任意模型性能评估与变分提示

    Segment Anything Model (SAM) 通过使用不同的输入提示（如文本、边界框、点或掩膜）生成掩膜，克服了特定数据集稀缺性的约束，评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力，结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象，但对于点提示而言，表现不稳定，特别是在分割细长物体和有机材料方面，SAM 的性能较差，这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。

    Apr, 2024