SAM 的基于任务的视觉模型可能会向基础模型方向发展,但是,我们的调查表明,SAM 易受对抗性攻击的影响,尤其是白盒攻击。
May, 2023
该研究旨在对 SAM 进行有针对性的对抗攻击,提出了一种仅攻击图像编码器的简单且有效的方法,并提出了一种新的正则化损失以增强不同模型之间的特征传递性,通过增加对随机自然图像的特征占优势来进行黑盒对抗攻击。
Oct, 2023
该研究论文提出了一种更实用的区域级攻击方法,攻击者不需要了解精确的用户提示,通过对图像中目标对象上的任意点进行点击,以隐藏对象并使其不受 Segment Anything Models(SAM)的干扰,同时通过谱变换方法使攻击更具可迁移性,控制实验和对真实世界中的 SAM 服务进行的测试证实了其有效性。
Apr, 2024
通过使用简单而有效的适配器将特定领域信息或视觉提示集成到分割网络中,我们的实验表明,SAM-Adapter 可以显着提高 SAM 在具有挑战性的任务中的性能,并且在我们测试的任务中甚至可以胜过专门的网络模型,并达到最先进的性能:伪装目标检测和阴影检测。
Apr, 2023
该文讨论使用提示依靠快速学习和收集大规模数据进行目标检测的 Segment anything model (SAM) 是否能够在威胁场景下提供可靠性,发现 SAM 对于多种污染具有显着的鲁棒性,但在受到 PGD 和 BIM 攻击时容易受到影响,因此提出了一系列新任务以提高 SAM 的鲁棒性。
本研究介绍了 ASAM,一种通过敌对调整增强 SAM 性能的新方法,利用稳定性扩散模型增加 SA-1B 数据集子集的敌对实例,展示更真实且与原始标注一致的分割结果,从而在不需要额外数据或架构修改的情况下,显著提高了各种分割任务的表现,为计算机视觉中基础模型的进展做出了贡献。
May, 2024
这篇研究论文讨论了 Segment Anything Model 在各个领域的表现及其未来发展前景,并提供了有助于未来研究活动的洞见,以完成通用分割任务。
对 Segment Anything Model 模型进行了全面的鲁棒性研究,发现它在面对多种图像扰动时的性能普遍下降,在特定数据集上定制提示技巧和利用领域知识,可以提高模型的弹性和解决数据集特定的挑战,为实际应用提供更健壮和多功能的图像分割解决方案。
RobustSAM 是一种改进的 Segment Anything Model (SAM) 方法,通过增强 SAM 在低质量图像上的性能,同时保持其可提示性和零样本泛化能力。其在各种分割任务和数据集上的广泛实验证实了其卓越性能,特别是在零样本条件下,在广泛的现实世界应用中具有巨大的潜力。
Jun, 2024
本研究对 Segment anything model (SAM) 模型在各种噪声、图像修饰以及逆向攻击等情境中的鲁棒性进行了全面评估,并揭示了其在形状和样式方面的偏向性。
Jun, 2023