May, 2023

检测任意阴影：视频阴影检测中的物体分割

PDF
TL;DR本研究使用少量的用户协助，利用阴影数据和稀疏提示对 Segment anything model 进行微调，再结合长短期注意机制扩展其能力，使其可以用于视频阴影检测，与现有技术相比，实验结果表明，该方法在 MAE 和 IoU 方面分别提高 17.2% 和 3.3%，验证了我们提出方法的有效性。
segment anything modelshadow detectionfine-tuninglong short-term attentionvideo
发现论文，激发创造
  • 当 SAM 遇见阴影探测

    该研究报告使用可提醒的通用物体分割模型（segment anything model，SAM）在一个未被发掘的流行任务中 —— 阴影检测中进行测试，不满意的实验结果表明 SAM 在此任务方面表现不佳。

    May, 2023

  • SAM 帮助 Shadow：当分割模型遇上阴影去除

    本文介绍了一种创新的方法 SAM-helps-Shadow，将分割模型 SAM 用于影子去除，利用零样本学习提高模型在实际场景中的适用性，使用二阶深度展开网络实现影子去除，提高了阴影检测的准确性和效率。

    Jun, 2023

  • AdapterShadow: 为阴影检测调整分段任意模型

    我们提出了 AdapterShadow，这是一种用于阴影检测的适应 SAM 模型的方法。我们在 SAM 的冻结图像编码器中插入可训练的适配器，以适应阴影图像，并引入一种新颖的网格采样方法以生成密集的点提示，从而在没有任何手动干预的情况下自动分割阴影。通过在四个广泛使用的基准数据集上进行广泛的实验，我们展示了我们提出方法的卓越性能。

    Nov, 2023

  • SAM-Adapter：在伪装、阴影等场景下适应 SAM 的分割模型

    通过使用简单而有效的适配器将特定领域信息或视觉提示集成到分割网络中，我们的实验表明，SAM-Adapter 可以显着提高 SAM 在具有挑战性的任务中的性能，并且在我们测试的任务中甚至可以胜过专门的网络模型，并达到最先进的性能：伪装目标检测和阴影检测。

    Apr, 2023

  • Deshadow-Anything：当分割任意对象模型遇见零照明去除

    通过消除图像中的阴影同时保留图像细节，Segment Anything (SAM) 模型在图像分割和计算机视觉领域树立了新的基准，但在区分阴影和背景时仍面临挑战。为了解决这个问题，我们开发了 Deshadow-Anything，考虑到大规模数据集的泛化，并对大规模数据集进行微调，实现了图像阴影去除。扩散模型可以沿着图像的边缘和纹理进行扩散，帮助去除阴影并保留图像的细节。此外，我们设计了多自注意引导 (MSAG) 和自适应输入扰动 (DDPM-AIP) 来加速扩散的迭代训练速度。阴影去除任务的实验证明这些方法可以有效提高图像修复性能。

    Sep, 2023

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • SAM-PD: 通过提示去噪，在跟踪和分割视频中，SAM 能带我们走多远

    本文探讨了将 Segment Anything Model（SAM）应用于视频对象跟踪和分割任务的潜力，通过使用多种 prompt 和引入基于点的优化阶段，实现了在三个数据集上对比性能相当的视频对象 / 实例分割任务，该方法为基于 SAM 的后续应用赋予了跟踪能力。

    Mar, 2024

  • SAM-PM: 基于时空注意力的视频隐蔽物体检测增强

    提出了一种新的方法，即 SAM 传播模块（SAM-PM），通过采用时空交叉注意机制在 SAM 中实施时间一致性，将时间一致性和领域专业知识有效地融入分割网络，只增加了不到 SAM 参数的 1％，与最新的最先进技术相比，在 VCOD 基准测试中实现了显著性能改进。

    Jun, 2024

  • 运动物体分割：只需 SAM（和 Flow）

    通过将光流与 Segment Anything 模型 (SAM) 结合，本文研究了两种模型，一种使用光流作为输入，另一种使用 RGB 作为输入，这两种简单的方法在单个和多个物体分割基准测试中，凭借其出色的性能超过了所有先前的方法，同时还将这些基于帧的分割扩展到了保持对象身份的序列级分割。

    Apr, 2024

  • 个性化一次性分段模型

    本文提出了一种称为 PerSAM 的、无需训练的个性化方法，该方法首先通过位置先验定位目标概念，然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割，有效地适应 SAM 的私人使用。此外，我们还提出了一种高效的单次微调变体，PerSAM-F，以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg，并在具有竞争性的性能的视频对象分割上测试了我们的方法。

    May, 2023