CVPRMay, 2024

UnSAMFlow: 由分割任意模型指导的无监督光流

PDF
TL;DR我们提出了一种利用最新的基础模型 Segment Anything Model（SAM）的非监督流网络 UnSAMFlow，通过加入适应 SAM 蒙版的自监督语义增强模块、基于单应性的新平滑度定义以及简单而有效的蒙版特征模块，能够在对象周围生成清晰的光流估计，优于 KITTI 和 Sintel 数据集上的最先进方法，并且在跨领域上具有很好的泛化能力且运行效率高。
发现论文，激发创造
  • SAMFlow：消除光流中的任何碎片化问题的分段整体模型

    提出了 SAMFlow 模型，将 Segment Anything Model (SAM) 的图像编码器嵌入 FlowFormer，通过光流任务特定的适应方案来增强物体感知，解决了光流估计中的片段化问题，并在 Sintel 和 KITTI-15 数据集上取得了排名第一的最先进表现。

    Jul, 2023

  • 运动物体分割：只需 SAM（和 Flow）

    通过将光流与 Segment Anything 模型 (SAM) 结合，本文研究了两种模型，一种使用光流作为输入，另一种使用 RGB 作为输入，这两种简单的方法在单个和多个物体分割基准测试中，凭借其出色的性能超过了所有先前的方法，同时还将这些基于帧的分割扩展到了保持对象身份的序列级分割。

    Apr, 2024

  • UVOSAM: 无需蒙版的无监督视频对象分割范式，通过任意分割模型实现

    UVOSAM 是一种新的无监督视频对象分割范例，利用 Segment Anything Model 和视频显著对象跟踪网络来生成显着前景对象的轨迹作为提示来对每一帧视频进行对象分割。实验结果显示，UVOSAM 显著优于当前基于标记方法的分割方法。

    May, 2023

  • 无监督光流中的关键因素

    本研究通过分析光流的关键组件如光度损失、遮挡处理和光流平滑正则化，提出了多种类似代价体积规范化、在遮挡掩模处停止梯度、在上采样光流场之前鼓励平滑等方法的优化，结合改进后的组件提出了一种新型的无监督光流技术，该技术不仅在 KITTI 2015 数据集上表现出色，而且比现有方法更为简单。

    Jun, 2020

  • 无监督分割任何东西

    使用无监督 SAM 模型进行图像分割，通过将图像分割为实例 / 语义级别的片段并形成层次结构的无监督多粒度蒙版，提供了与有监督方法相媲美甚至更好的分割结果，并为有监督模型提供了改进的自我监督标签。

    Jun, 2024

  • 光流提升无监督定位和分割

    无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力，本研究提出了一种新的损失函数，利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化，实现了无标注语义分割的优于现有技术的性能。

    Jul, 2023

  • 基于半监督分割和光流的通用铁路障碍物检测系统

    利用光流线索指导的半监督分割方法解决铁路场景中多类障碍物检测问题，通过生成逼真的合成图像并利用光流作为先验知识来有效训练模型，实验证明了该方法的可行性和效果。

    Jun, 2024

  • nnSAM: 插拔式分段模型提升 nnUNet 性能

    将基础模型和领域特定模型相结合，nnSAM 在医学图像分割中提供了更准确、更健壮的解决方案，并允许少样本学习。

    Sep, 2023

  • 基于语义分割和局部层的光流

    利用静态语义场景分割技术提高光流方法中对于不同物体运动的预测准确度，并通过引入局部化分层模型来解决在复杂场景中估算光流的问题，达到了 KITTI-2015 流量基准测试中最低误差和更好的分割效果及流畅度。

    Mar, 2016

  • 基于分段全景模型（SAM）的光学遥感图像与地图数据之间的变化检测

    本研究探讨了无监督多模态变化检测在时效性任务和综合多时序地球监测中的重要性，并介绍了利用光学高分辨率图像和 OpenStreetMap（OSM）数据进行无监督多模态变化检测的方法。我们通过使用视觉基础模型 Segmentation Anything Model（SAM）来解决这一任务，利用 SAM 的优秀的零样本迁移能力获得高质量的光学图像分割图，从而能够直接比较这两种异构数据形态。我们引入了两种策略来指导 SAM 的分割过程：'no-prompt' 方法和 'box/mask prompt' 方法。这两种策略分别用于检测一般情况下的土地覆盖变化和在已有背景下识别新的土地覆盖对象。在三个数据集上的实验结果表明，所提出的方法与代表性的无监督多模态变化检测方法相比能够取得更具竞争力的结果。

    Jan, 2024