ECCVJul, 2022

无监督视频对象分割的分层特征对齐网络

PDF
TL;DR提出了一种简洁而高效的分层特征对齐网络 (HFAN)，用于改进无监督视频对象分割 (UVOS) 中运动和外观特征的关联性，通过顺序的特征对齐模块 (FAM) 和特征适应模块 (FAT) 对外观和运动特征进行层次化处理，在 DAVIS-16 数据集上实验表明，在 J&F 平均值方面，HFAN 达到了新的最优性能，相对于最优结果提高了 3.5％。
发现论文，激发创造
  • SimulFlow：无监督视频目标分割中同时提取特征与识别目标

    本文提出了一种名为 SimulFlow 的新型无监督视频目标分割模型，它同时进行特征提取和目标识别，实现高效和有效的无监督视频目标分割，通过利用灵活的注意力机制来融合图像和运动信息，减少了计算复杂性和融合难度，并在多个基准数据集上取得了领先的性能。

    Nov, 2023

  • 光流提升无监督定位和分割

    无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力，本研究提出了一种新的损失函数，利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化，实现了无标注语义分割的优于现有技术的性能。

    Jul, 2023

  • FODVid: 视频中的流引导物体发现

    我们在视频中对象的分割问题上提出了一种新的管道（FODVid），它基于使用流引导图割和时间一致性的思想来引导分割输出，通过设计一个融合了帧内外观和流相似性以及帧间对象时间持续性的分割模型，我们的方法在无监督的视频对象分割中取得了与现有顶级方法相当的结果（在 mIoU 范围内相差约 2 个单位），我们技术的简单性和效果为视频领域的研究开辟了新的研究途径。

    Jul, 2023

  • 通过对比运动聚类实现在线非监督视频物体分割

    本文提出了一种基于对比学习的无监督在线视频目标分割算法，利用光流作为输入，通过聚类的方式学习物体运动信息，并采用边界先验进行对比学习以提高特征鉴别度和分割精度，该算法在多个数据集上取得了超过现有方法的精度并在效率和准确性之间达到了良好的平衡。

    Jun, 2023

  • 快速准确场景分割的语义流

    本文提出了一种名为 'Flow Alignment Module' 的方法，通过学习场景不同层级之间的语义流，并将高层次特征有效和高效地广播到高分辨率特征，使得在轻量级骨干网络上如 ResNet-18 表现卓越，在 Cityscapes 数据集上获得了 80.4% 分割精度，时速达到 26FPS。

    Feb, 2020

  • 零样本视频对象分割的分层图模式理解

    本研究提出了一种新的层次化图形神经网络建构（HGPU）架构，用于零样本视频对象分割（ZS-VOS），该网络通过利用动态线索（即光流）增强目标帧邻居的高阶表示，并通过分层解析和理解变换的多模态背景来实现更准确和稳健的结果。

    Dec, 2023

  • 使用学习的分层特征进行视频跟踪

    该论文提出了一种基于层次特征学习的视觉目标跟踪方法，通过使用两层卷积神经网络实现对多样化运动模式的特征离线学习，并通过域自适应模块实现对具体目标的个性化在线特征调整，提高了在复杂运动转换和外观变化情况下的视觉目标跟踪性能。

    Nov, 2015

  • 基于外貌的目标中心运动分割优化

    通过引入外观优化方法和视频流的时间一致性，我们提出了一种能够独立发现、分割和跟踪复杂视觉场景中独立移动物体的方法。该方法通过简单的选择机制识别准确的光流预测掩码，并基于示例信息优化有问题的掩码。我们的模型在多个视频分割基准上的性能表现验证了其在单个物体分割上的竞争力，并在更具挑战性的多物体分割问题上明显优于现有模型。最后，我们研究了将我们的模型用作逐帧 Segment Anything 模型的提示的好处。

    Dec, 2023

  • 光流引导特征：视频动作识别的快速稳健运动表示

    本研究提出了一种名为 OFF 的紧凑型动作表示法，通过直接计算深度特征图的像素空间梯度，能够嵌入现有的 CNN 网络进行视频动作识别，从而快速提取时空信息，实现了比两种流（RGB 和光流）快 15 倍的速度和与之相似的精度。

    Nov, 2017

  • 大规模视频对象分割中的全局动作理解

    通过在动态视频的对象分割中集成场景全局运动知识，我们展示了从其他领域的视频理解中转移知识并结合大规模学习可以提高复杂环境下的鲁棒性。我们提出了一种半监督视频对象分割架构，利用运动理解中的现有知识进行更平滑的传播和更准确的匹配。同时，我们使用大规模的 MOSE 2023 数据集训练模型，该方法在各种复杂场景中展现了强大的性能。

    May, 2024