ICCVAug, 2021

视频对象分割全双工策略

PDF
TL;DR研究使用双向消息传递的全双工网络 (FSNet) 来增强运动和外观之间的相互制约，通过关系型交叉注意力模块 (RCAM) 在融合和解码阶段利用跨模态特征，并在 RCAM 之后采用双向净化模块 (BPM) 来提高模型的鲁棒性。经过五个常用基准测试的大量实验，我们的 FSNet 对于各种挑战性场景（如运动模糊、遮挡）都具有很好的性能，并在视频对象分割和视频显著对象检测任务中取得了优异的性能。
video object segmentationappearancemotioncross-modal featuresbidirectional message propagation
发现论文，激发创造
  • F2Net: 基于学习前景关注的无监督视频目标分割

    本文提出了一种新颖的‘Foregraound Network (F2Net)’，使用 Siamese 编码器模块、中心引导外观扩散模块和动态信息融合模块等方法，实现了在深度学习和视频对象分割的领域内的最新成果，提高了分割性能。

    Dec, 2020

  • 用于压缩视频物体指代分割的多注意力网络

    本文提出了在压缩视频数据流上进行指代视频目标分割任务的多关注机制网络和基于查询的跨模态 Transformer 模块，实现了使用单核心直接生成最终分割掩模的复杂后处理过程的目标，结果表明其有效性。

    Jul, 2022

  • 多源融合与自动预测器选择的零样本视频目标分割

    本文提出了一种多源融合网络，通过 interoceptive 空间关注模块和特征净化模块有效地融合多源特征，以及自动选择预测器防止对低质量光流图像产生过度依赖，从而实现了零样本视频对象分割的优异表现。

    Aug, 2021

  • 学习多尺度特征进行前景分割

    本文提出了一种新的鲁棒性编码器解码器结构的神经网络，使用少量的训练示例进行端到端的训练，通过特征融合在 Feature Pooling Module 中提取多尺度特征，实现对相机运动的鲁棒特征池化，免去多尺度输入的需求，通过 CDnet2014、SBI2015 和 UCSD Background Subtraction 数据集的实验表明，所提出的方法的整体 F-Measure 平均值优于现有所有最先进的方法。

    Aug, 2018

  • FusionSeg: 学习结合运动与外观以完全自动化地分割视频中通用对象

    本文提出一个结合了外观和动态信息的端到端学习框架，通过两流卷积神经网络，将动态和外观相结合，针对视频中的所有突出物体生成像素级别的分割掩码，并说明了如何通过弱注释视频的引导，以及与现有的图像识别数据集一起训练，提高了分割效果。

    Jan, 2017

  • 学习移动物体的分割

    本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

    Dec, 2017

  • 使用重用门函数学习半监督视频物体分割中的动态网络

    本篇文章提出了一种基于动态神经网络的方法，利用时间信息快速识别变化最小帧并跳过繁重的掩码生成步骤，从而提高了半监督视频对象分割的推断速度，同时不会过多降低精度。

    Dec, 2020

  • 基于外貌的目标中心运动分割优化

    通过引入外观优化方法和视频流的时间一致性，我们提出了一种能够独立发现、分割和跟踪复杂视觉场景中独立移动物体的方法。该方法通过简单的选择机制识别准确的光流预测掩码，并基于示例信息优化有问题的掩码。我们的模型在多个视频分割基准上的性能表现验证了其在单个物体分割上的竞争力，并在更具挑战性的多物体分割问题上明显优于现有模型。最后，我们研究了将我们的模型用作逐帧 Segment Anything 模型的提示的好处。

    Dec, 2023

  • 一种用于端到端视频物体分割的生成式外观模型

    通过引入外貌模块来学习目标和背景外观的概率生成模型，提高了视频对象分割网络的性能，并实现了全端到端的训练。

    Nov, 2018

  • 利用时空记忆网络进行视频对象分割

    提出了一种用于半监督视频对象分割的新型解决方案，通过利用内存网络中的可用线索和遍历所有可用源中的相关信息来实现更好的处理外观变化和遮挡等挑战，从而实现了最先进的性能。

    Apr, 2019