The presence of undesired background areas associated with potential noise
and unknown spectral characteristics degrades the performance of hyperspectral
data processing. Masking out unwanted regions is key to addressing this issue.
Processing only regions of interest yields notable improvements in terms of
computational costs, required memory, and overall p
基于大规模 Transformer 模型的 SAM 模型制约了其在广泛现实应用中的计算成本。为解决这个问题，我们提出了轻量级 SAM 模型 EfficientSAMs，借助图像预训练方法 SAMI，通过 SAM 图像编码器重建特征进行视觉表征学习，并在 SA-1B 上微调模型，实现对图像分类、对象检测、实例分割和语义对象检测等多个视觉任务的评估。结果显示，SAMI 方法在面向零样本实例分割等任务上，我们的 EfficientSAMs 表现优于其他快速 SAM 模型，达到显著增益（例如，在 COCO/LVIS 上的 AP 提高了约 4 个点）。
Segment Anything Model (SAM) 通过使用不同的输入提示（如文本、边界框、点或掩膜）生成掩膜，克服了特定数据集稀缺性的约束，评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力，结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象，但对于点提示而言，表现不稳定，特别是在分割细长物体和有机材料方面，SAM 的性能较差，这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。