Sep, 2023

Deshadow-Anything：当分割任意对象模型遇见零照明去除

PDF
TL;DR通过消除图像中的阴影同时保留图像细节，Segment Anything (SAM) 模型在图像分割和计算机视觉领域树立了新的基准，但在区分阴影和背景时仍面临挑战。为了解决这个问题，我们开发了 Deshadow-Anything，考虑到大规模数据集的泛化，并对大规模数据集进行微调，实现了图像阴影去除。扩散模型可以沿着图像的边缘和纹理进行扩散，帮助去除阴影并保留图像的细节。此外，我们设计了多自注意引导 (MSAG) 和自适应输入扰动 (DDPM-AIP) 来加速扩散的迭代训练速度。阴影去除任务的实验证明这些方法可以有效提高图像修复性能。
发现论文，激发创造
  • SAM 帮助 Shadow：当分割模型遇上阴影去除

    本文介绍了一种创新的方法 SAM-helps-Shadow，将分割模型 SAM 用于影子去除，利用零样本学习提高模型在实际场景中的适用性，使用二阶深度展开网络实现影子去除，提高了阴影检测的准确性和效率。

    Jun, 2023

  • 检测任意阴影：视频阴影检测中的物体分割

    本研究使用少量的用户协助，利用阴影数据和稀疏提示对 Segment anything model 进行微调，再结合长短期注意机制扩展其能力，使其可以用于视频阴影检测，与现有技术相比，实验结果表明，该方法在 MAE 和 IoU 方面分别提高 17.2% 和 3.3%，验证了我们提出方法的有效性。

    May, 2023

  • AdapterShadow: 为阴影检测调整分段任意模型

    我们提出了 AdapterShadow，这是一种用于阴影检测的适应 SAM 模型的方法。我们在 SAM 的冻结图像编码器中插入可训练的适配器，以适应阴影图像，并引入一种新颖的网格采样方法以生成密集的点提示，从而在没有任何手动干预的情况下自动分割阴影。通过在四个广泛使用的基准数据集上进行广泛的实验，我们展示了我们提出方法的卓越性能。

    Nov, 2023

  • 当 SAM 遇见阴影探测

    该研究报告使用可提醒的通用物体分割模型（segment anything model，SAM）在一个未被发掘的流行任务中 —— 阴影检测中进行测试，不满意的实验结果表明 SAM 在此任务方面表现不佳。

    May, 2023

  • RobustSAM: 在退化图像上鲁棒地分割任何物体

    RobustSAM 是一种改进的 Segment Anything Model (SAM) 方法，通过增强 SAM 在低质量图像上的性能，同时保持其可提示性和零样本泛化能力。其在各种分割任务和数据集上的广泛实验证实了其卓越性能，特别是在零样本条件下，在广泛的现实世界应用中具有巨大的潜力。

    Jun, 2024

  • 将 “Promoting Segment Anything Model towards Highly Accurate Dichotomous Image Segmentation” 翻译为专业简体中文

    通过输入「Segment Anything Model」（SAM）的简单提示框，并将 SAM 的结果输出作为 IS5Net 的输入，可以极大地提高高精度的二元图像分割的效果。

    Dec, 2023

  • SAM-Adapter：在伪装、阴影等场景下适应 SAM 的分割模型

    通过使用简单而有效的适配器将特定领域信息或视觉提示集成到分割网络中，我们的实验表明，SAM-Adapter 可以显着提高 SAM 在具有挑战性的任务中的性能，并且在我们测试的任务中甚至可以胜过专门的网络模型，并达到最先进的性能：伪装目标检测和阴影检测。

    Apr, 2023

  • 遥感应用中的分段任意物模型 (SAM)：从零到一次拍摄

    本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model（SAM）应用于遥感图像分析领域，特别是处理来自不同地理背景的航空和轨道影像，实现 SAM 在遥感影像处理中的潜力。

    Jun, 2023

  • DeSAM: 通用医学图像分割的分段解耦模型

    本文提出了一个基于深度学习技术的医学图像分割模型，该模型改进了 Segment Anything Model (SAM) 并提出了一个新的模型 ——decoupling SAM (DeSAM)，通过解耦 mask 的生成和 prompt 嵌入来提高在自动模式下的泛化能力，实验结果表明 DeSAM 方法比之前的最新领域泛化方法的 dice 分数平均提高了 8.96%（从 70.06% 到 79.02%），并且 DeSAM 方法可以在入门级 GPU 上进行训练。

    Jun, 2023

  • 黑盒定向对抗攻击 Segment Anything (SAM)

    该研究旨在对 SAM 进行有针对性的对抗攻击，提出了一种仅攻击图像编码器的简单且有效的方法，并提出了一种新的正则化损失以增强不同模型之间的特征传递性，通过增加对随机自然图像的特征占优势来进行黑盒对抗攻击。

    Oct, 2023