将物体重新融入视频物体分割

Oct, 2023

Putting the Object Back into Video Object Segmentation

Ho Kei Cheng, Seoung Wug Oh, Brian Price, Joon-Young Lee, Alexander Schwing

TL;DRCutie 是一个视频目标分割网络，具有对象级记忆读取，通过适应一小组对象查询与自底向上的像素特征进行迭代交互，结合前景 - 背景屏蔽注意力，可准确分离前景对象的语义，从而在 MOSE 数据集上显著提高 J&F 值。

Abstract

We present Cutie, a video object segmentation (VOS) network with object-level memory reading, which puts the object representation from memory back into the video object segmentation result. Recent works on VOS e

video object segmentation object-level memory reading query-based object transformer foreground-background masked attention mose dataset

发现论文，激发创造

双时序记忆网络用于高效的视频目标分割

本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战，包括短期记忆子网络和长期记忆子网络，通过图形学习框架提高局部区域间的可视一致性，在三个常用的数据集上取得了非常好的性能。

Mar, 2020

CVPR 2024 PVUW 复杂视频对象分割 MOSE 赛道第三名解决方案

视频目标分割是计算机视觉中的重要任务，研究了切割模型的灵感、对象记忆、内存帧总数和输入分辨率对分割性能的影响，并在复杂视频目标分割（MOSE）数据集上验证了我们方法的有效性，实验结果表明在测试集上达到了 0.8139 的 J&F 得分，在处理具有挑战性的 VOS 场景中具有强大的鲁棒性和准确性。

Jun, 2024

M3T：视频目标分割和跟踪的多尺度记忆匹配

通过提出一种新颖的，DET-R 风格的编码器 - 解码器架构，我们克服了长视频中有关小对象的数据特性所带来的挑战，并在两个复杂数据集上实现了最先进的性能。

Dec, 2023

时空强化网络用于视频目标分割

最近，视频对象分割（VOS）网络通常使用基于记忆的方法：对于每个查询帧，通过空间 - 时间匹配预测掩码以与记忆帧相匹配。尽管这些方法具有卓越的性能，但存在两个问题：1）具有挑战性的数据可以破坏相邻视频帧之间的空间 - 时间一致性。2）像素级匹配会由噪音或干扰引起不希望的不匹配。为解决上述问题，我们首先提出在相邻帧之间生成一个辅助帧，作为查询帧的隐式短时间参考。随后，我们为每个视频对象学习一个原型，并在查询帧和记忆帧之间实施原型级匹配。实验证明，在 DAVIS 2017 上我们的网络优于最先进的方法，达到了 86.4% 的 J&F 分数，并且在 YouTube VOS 2018 上获得了 85.0% 的竞争结果。此外，我们的网络的推理速度为 32+ FPS。

May, 2024

学习视频目标分割的快速和稳健的目标模型

该研究提出了一种新的视频对象分割方式，它由轻量级模块和分割模型两部分组成。在推理阶段使用快速优化技术学习目标外观模型，以预测出粗略但鲁棒的目标分割，然后将粗略的分数转化成高质量的分割掩模，该模式具有快速、易于训练、在有限的训练数据情况下仍然高效等优点。在挑战性的 YouTube-VOS 和 DAVIS 数据集上进行了广泛实验，其结果与现有技术相比具有更高的帧率和优异的性能。

Feb, 2020

利用时空记忆网络进行视频对象分割

提出了一种用于半监督视频对象分割的新型解决方案，通过利用内存网络中的可用线索和遍历所有可用源中的相关信息来实现更好的处理外观变化和遮挡等挑战，从而实现了最先进的性能。

Apr, 2019

视频对象分割的学习策略

该研究提出了一种新的、自动化的视频物体分割方法，通过集成一种可区分的少量样本学习模块，提高了分割精度，实现了当前 YouTube-VOS 2018 数据集的最新最佳分数，并使相对改进率达到了 2.6％以上。

Mar, 2020

动态查询调节的视频目标分割

通过将对象特征汇总成为动态查询，并将其作为动态滤波器用于掩膜预测，我们提出了一种名为 QMVOS 的查询调节方法，从而为模型提供高级描述和对象级感知。通过查询间的注意力实现高效有效的多对象交互，这一方法对基于内存的半监督视频对象分割方法带来了显著的改进，并在标准 SVOS 基准上实现了竞争性能。

Mar, 2024

简化框架下可扩展的视频对象分割

本研究提出了一种可扩展的简化 VOS（SimVOS）框架，通过利用单个转换器主干进行联合特征提取和匹配，从而实现了针对准确遮罩预测的更好的目标感知特征学习。实验证明，SimVOS 在流行的视频对象分割基准测试中取得了最先进的结果，即 DAVIS-2017（88.0％J＆F），DAVIS-2016（92.9％J＆F）和 YouTube-VOS 2019（84.2％J＆F），而不使用任何先前 VOS 方法中使用的合成视频或 BL30K 预训练。

Aug, 2023

CapsuleVOS: 使用胶囊路由的半监督视频物体分割

本文提出一种基于胶囊网络的半监督视频目标分割方法，由引入路由算法实现基于感知机的快速选择和基于循环网络的记忆模块解决了视频中小目标和目标遮挡问题，在 Youtube-VOS 数据集上的表现优于现有离线方法并具有比竞争方法快近一倍的运行时间。

Sep, 2019