视频目标分割的时空卷积神经网络

CVPRApr, 2019

视频目标分割的时空卷积神经网络

Spatiotemporal CNN for Video Object Segmentation

Kai Xu, Longyin Wen, Guorong Li, Liefeng Bo, Qingming Huang

TL;DR本文提出了一种统一的、端到端可训练的时空卷积神经网络模型，用于视觉目标分割，包括时间一致分支和空间分割分支，并以优化的方式使用未标记的视频数据从中预训练时空一致性分支，以捕获视频序列的动态外观和运动线索引导对象分割。

Abstract

In this paper, we present a unified, end-to-end trainable spatiotemporal cnn model for VOS, which consists of two branches, i.e., the temporal coherence branch and the spatial segmentation branch. Specifically, t

spatiotemporal cnn object segmentation temporal coherence branch spatial segmentation branch attention module

发现论文，激发创造

YouTube-VOS: 序列到序列视频物体分割

本文介绍了一个基于大规模数据集的序列 - 序列网络，能够充分利用视频的长期时空信息进行分割，在 YouTube-VOS 测试集上取得了最佳结果，在 DAVIS 2016 上与现有最先进方法相比也有可比性。

Sep, 2018

双时序记忆网络用于高效的视频目标分割

本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战，包括短期记忆子网络和长期记忆子网络，通过图形学习框架提高局部区域间的可视一致性，在三个常用的数据集上取得了非常好的性能。

Mar, 2020

SSTVOS: 稀疏时空 Transformer 用于视频物体分割

介绍了一种基于 Transformer 的视频对象分割方法，称为 Sparse Spatiotemporal Transformers (SST)，使用稀疏注意力抽取每个对象的每个像素表示，同时具有解决运动分割所需的对应关系计算的归纳偏差。SST 模型在 YouTube-VOS 和 DAVIS 2017 上达到了有竞争力的结果，并具有比现有技术更好的可扩展性和鲁棒性。

Jan, 2021

基于时间聚合网络和动态模板匹配的快速视频对象分割

本文介绍了一种将 “tracking-by-detection” 引入视频对象分割的方法，通过提出一种新的时间聚合网络和新的动态时间演进模板匹配机制，成功将分割与跟踪相一致，并在 DAVIS 基准测试中取得了新的最优表现。

Jul, 2020

视频目标分割的时空多层关联

该研究提出了一种空间 - 时间多层次关联框架，以解决现有半监督视频对象分割方法在空间特征匹配和时空特征建模方面的限制，并通过空间 - 时间记忆库实现充分的目标交互和高效的并行处理，从而提高视频对象分割的效果。

Apr, 2024

ReConvNet: 带有时空特征调制的视频对象分割

ReConvNet 是一种循环卷积架构，用于半监督视频对象分割，能够快速适应其特征以聚焦于感兴趣的任何特定对象。通过条件仿射变换学习自适应于感兴趣的对象的时空特征的方法，不需要额外的推断时间内的训练步骤，且在 DAVIS2016 上表现出有竞争力的结果。

Jun, 2018

学习视频目标分割的快速和稳健的目标模型

该研究提出了一种新的视频对象分割方式，它由轻量级模块和分割模型两部分组成。在推理阶段使用快速优化技术学习目标外观模型，以预测出粗略但鲁棒的目标分割，然后将粗略的分数转化成高质量的分割掩模，该模式具有快速、易于训练、在有限的训练数据情况下仍然高效等优点。在挑战性的 YouTube-VOS 和 DAVIS 数据集上进行了广泛实验，其结果与现有技术相比具有更高的帧率和优异的性能。

Feb, 2020

SpVOS：具有三重稀疏卷积的高效视频目标分割

本文提出了一种名为 SpVOS 的 VOS 稀疏基线方法，通过开发一种新颖的三元稀疏卷积来减少整体 VOS 框架的计算成本，并结合稀疏训练策略对 VOS 分割性能和计算成本进行平衡，实验结果表明 SpVOS 在资源受限场景下具有应用潜力。

Oct, 2023

YouTube-VOS: 一个大规模的视频目标分割基准测试

此篇论文介绍了一个新的大型视频对象分割数据集（YouTube-VOS），目前是已知最大的数据集之一，其中包含 4,453 个 YouTube 视频剪辑和 94 个物体类别，并在此数据集上评估了几种现有的最先进的视频对象分割算法，以建立未来新算法的基础。

Sep, 2018

探索用于实时视频显著性目标检测的丰富和高效的时空交互

本文提出了一种新颖的时空网络来提高视频显著性检测的性能，通过将轻量级的时间模型整合到空间分支中，粗略定位与值得信赖的显著运动相关的空间显著区域，同时，空间分支本身能够多尺度地反复改善时间模型，从而使空间和时间分支能够互相交互，实现相互性能提高。我们的方法易于实现且有效，在实时速度下以 50 FPS 实现高质量的视频显著性检测。

Aug, 2020