MMNov, 2023

SimulFlow：无监督视频目标分割中同时提取特征与识别目标

PDF
TL;DR本文提出了一种名为 SimulFlow 的新型无监督视频目标分割模型，它同时进行特征提取和目标识别，实现高效和有效的无监督视频目标分割，通过利用灵活的注意力机制来融合图像和运动信息，减少了计算复杂性和融合难度，并在多个基准数据集上取得了领先的性能。
unsupervised video object segmentationsimulflowfeature extractiontarget identificationbenchmark datasets
发现论文，激发创造
  • 通过对比运动聚类实现在线非监督视频物体分割

    本文提出了一种基于对比学习的无监督在线视频目标分割算法，利用光流作为输入，通过聚类的方式学习物体运动信息，并采用边界先验进行对比学习以提高特征鉴别度和分割精度，该算法在多个数据集上取得了超过现有方法的精度并在效率和准确性之间达到了良好的平衡。

    Jun, 2023

  • UnOVOST: 无监督离线视频对象分割和跟踪

    本研究提出了一种基于轨迹分组和决策森林的算法，名为 UnOVOST，用于解决无监督的视频对象分割和跟踪问题，并在 DAVIS 2017 Unsupervised 数据集上达到了最先进性能。

    Jan, 2020

  • FODVid: 视频中的流引导物体发现

    我们在视频中对象的分割问题上提出了一种新的管道（FODVid），它基于使用流引导图割和时间一致性的思想来引导分割输出，通过设计一个融合了帧内外观和流相似性以及帧间对象时间持续性的分割模型，我们的方法在无监督的视频对象分割中取得了与现有顶级方法相当的结果（在 mIoU 范围内相差约 2 个单位），我们技术的简单性和效果为视频领域的研究开辟了新的研究途径。

    Jul, 2023

  • 利用运动特性实现的无监督在线视频目标分割

    本文提出了一种新的无监督在线视频目标分割框架，通过结合运动属性以便于分割出区分明显的移动部分，并利用显著性动态检测和物体提议等研究方法设计出像素级的融合策略，实现对在不同帧之间的目标传播和运动检测的稳健性处理，最终在多个基准数据集上实现了比先前算法更高的绝对增益。

    Oct, 2018

  • 简化框架下可扩展的视频对象分割

    本研究提出了一种可扩展的简化 VOS（SimVOS）框架，通过利用单个转换器主干进行联合特征提取和匹配，从而实现了针对准确遮罩预测的更好的目标感知特征学习。实验证明，SimVOS 在流行的视频对象分割基准测试中取得了最先进的结果，即 DAVIS-2017（88.0％J＆F），DAVIS-2016（92.9％J＆F）和 YouTube-VOS 2019（84.2％J＆F），而不使用任何先前 VOS 方法中使用的合成视频或 BL30K 预训练。

    Aug, 2023

  • 无监督视频对象分割的分层特征对齐网络

    提出了一种简洁而高效的分层特征对齐网络 (HFAN)，用于改进无监督视频对象分割 (UVOS) 中运动和外观特征的关联性，通过顺序的特征对齐模块 (FAM) 和特征适应模块 (FAT) 对外观和运动特征进行层次化处理，在 DAVIS-16 数据集上实验表明，在 J&F 平均值方面，HFAN 达到了新的最优性能，相对于最优结果提高了 3.5％。

    Jul, 2022

  • 通过迭代选择易于参考的帧使得无监督视频目标分割更容易

    该论文提出了一种名为 Easy Frame Selector 的新方法，其可以选择更好的参考帧以提高无监督视频物体分割（UVOS）表现。作者进一步提出了一种名为 Iterative Mask Prediction 的框架，在 Davis16，FBMS 和 SegTrack-V2 三个 UVOS 基准集上实现了最先进的表现

    Dec, 2021

  • 无监督视频目标分割中以输出选择为选项处理动作

    无监督视频对象分割是一项旨在在没有关于对象的外部指导的情况下检测视频中最显著的对象的任务。为了充分利用显著对象通常与背景具有不同的运动特征的属性，最近的方法共同使用从光流图提取的运动线索与从 RGB 图像提取的外观线索。然而，由于光流图通常与分割掩码非常相关，网络在网络训练期间容易过度依赖运动线索。因此，这种两流方法容易受到混淆的运动线索的干扰，使其预测不稳定。为了缓解这个问题，我们设计了一种将运动线索视为可选的新型运动作为选项网络。在网络训练期间，随机提供 RGB 图像而不是光流图给运动编码器，以隐式降低网络的运动依赖性。由于学习到的运动编码器可以处理 RGB 图像和光流图，因此可以根据所使用的信息源的运动输入生成两种不同的预测。为了充分利用这个特性，我们还提出了一种自适应输出选择算法来在测试时采用最佳的预测结果。我们提出的方法在所有公共基准数据集上都具有最先进的性能，甚至保持了实时推理速度。

    Sep, 2023

  • 光流提升无监督定位和分割

    无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力，本研究提出了一种新的损失函数，利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化，实现了无标注语义分割的优于现有技术的性能。

    Jul, 2023

  • 无监督视频对象分割的关键实例选择

    本文提出了一种基于视频显着性的关键实例选择方法，涵盖了对象性和动态特性，用于非监督式视频对象分割，在多个属性如 ReID 描述符，预期轨迹和语义共分割结果等方面考虑相似性度量，并基于视频显着性和出现频率选择关键 ID 进行跟踪。这些技术贡献使得我们在 UVOS DAVIS 挑战的排行榜上排名第三。

    Jun, 2019