CVPRMar, 2024

零样本视频目标分割的深度感知测试时间训练

PDF
TL;DR该研究通过引入测试时培训策略，建立了一个同时进行分割和深度预测任务的单一网络，使用特别设计的深度调制层来有效学习。同时，对于测试时培训过程，模型通过预测不同数据增强下相同帧的一致深度图来进行更新，通过动量和循环的权重更新策略，取得了稳定的改进效果，显著提升了零样本视频对象分割（ZSVOS）方法的性能。
zero-shot video object segmentationtest-time trainingdepth modulation layermomentum-based weight initializationlooping-based training scheme
发现论文，激发创造
  • 视频对象分割的一次性训练

    本论文提出了一种视频目标分割 (VOS) 的新的一次性训练框架，只需要一个标记的帧来训练，并适用于大多数最先进的 VOS 网络。通过双向训练，我们得到了一个令人满意的 VOS 网络，仅使用了 YouTube-VOS 和 DAVIS 数据集的一个标记的帧，达到了与完全标记的数据集训练的结果相当的效果。

    May, 2024

  • 单次视频目标分割

    本文提出一种基于神经网络的半监督视频目标分割技术，能够在保证处理速度的前提下提升目标分割的效果。

    Nov, 2016

  • 无时序信息的视频目标分割

    该论文利用全卷积神经网络架构，基于 ImageNet 上学习的通用语义信息，结合单个对象的外观学习，实现了半监督的视频对象分割，提高了结果的精度和效率。

    Sep, 2017

  • SSTVOS: 稀疏时空 Transformer 用于视频物体分割

    介绍了一种基于 Transformer 的视频对象分割方法，称为 Sparse Spatiotemporal Transformers (SST)，使用稀疏注意力抽取每个对象的每个像素表示，同时具有解决运动分割所需的对应关系计算的归纳偏差。SST 模型在 YouTube-VOS 和 DAVIS 2017 上达到了有竞争力的结果，并具有比现有技术更好的可扩展性和鲁棒性。

    Jan, 2021

  • TrickVOS：视频目标分割的一袋技巧

    为了提高半监督视频对象分割的性能，本文提出了一种名为 TrickVOS 的通用方法，包含结构感知的混合损失函数、简单的解码器预训练机制以及可降低模型预测误差的便宜跟踪器等级三个方面，并使用一种轻量级网络模型进行实验，取得了与现有最先进方法相媲美的结果，并且可以在移动设备上实时运行。

    Jun, 2023

  • 视频对象分割的学习策略

    该研究提出了一种新的、自动化的视频物体分割方法，通过集成一种可区分的少量样本学习模块，提高了分割精度，实现了当前 YouTube-VOS 2018 数据集的最新最佳分数，并使相对改进率达到了 2.6％以上。

    Mar, 2020

  • 学习视频目标分割的快速和稳健的目标模型

    该研究提出了一种新的视频对象分割方式，它由轻量级模块和分割模型两部分组成。在推理阶段使用快速优化技术学习目标外观模型，以预测出粗略但鲁棒的目标分割，然后将粗略的分数转化成高质量的分割掩模，该模式具有快速、易于训练、在有限的训练数据情况下仍然高效等优点。在挑战性的 YouTube-VOS 和 DAVIS 数据集上进行了广泛实验，其结果与现有技术相比具有更高的帧率和优异的性能。

    Feb, 2020

  • 基于时间聚合网络和动态模板匹配的快速视频对象分割

    本文介绍了一种将 “tracking-by-detection” 引入视频对象分割的方法，通过提出一种新的时间聚合网络和新的动态时间演进模板匹配机制，成功将分割与跟踪相一致，并在 DAVIS 基准测试中取得了新的最优表现。

    Jul, 2020

  • RVOS：端到端的循环神经网络用于视频对象分割

    该研究提出了一种基于循环神经网络的视频多目标分割模型，实现了零样本学习和时间上的目标连贯性，此模型在 DAVIS-2017 和 YouTube-VOS 基准测试上取得了优异的表现，并且其推理时间比现有方法更快。

    Mar, 2019

  • 基于协同注意力传播网络的零样本视频目标分割

    本文提出了一种编码器 - 解码器的分层协同传播网络（HCPN），通过多个协同演化并结合平行协同模块（PCM）和跨模态协同模块（CCM）来跟踪和分割前景物体，在公共基准测试中优于所有以前的方法，展示了其在零样本视频对象分割中的有效性。

    Apr, 2023