Sep, 2023

高效记忆继续学习的长视频目标分割

PDF
TL;DR提出两种方法以减少在线视频对象分割方法的内存需求，同时提高建模准确性和推广性，并实验结果表明这些方法可以提高在线视频对象分割模型的性能，增强其在长视频数据集上的鲁棒性。
发现论文，激发创造
  • CLVOS23: 用于连续学习的长视频对象分割数据集

    本文提出了一个基于正则化的持续学习方法用于解决在线视频对象分割问题（VOS），取得了很好的效果，同时建立了一个基准公共数据集 CLVOS23。这是首次将 VOS 作为一个持续学习问题来定义和解决。

    Apr, 2023

  • 双时序记忆网络用于高效的视频目标分割

    本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战，包括短期记忆子网络和长期记忆子网络，通过图形学习框架提高局部区域间的可视一致性，在三个常用的数据集上取得了非常好的性能。

    Mar, 2020

  • 基于记忆的视频目标分割中的位置和目标一致性学习

    该论文提出了一种名为 LCM 的基于记忆机制的视频目标分割方法，该方法采用了位置一致性和目标一致性的学习框架来解决现有方法在视频帧序列中没有利用目标级别知识和序贯性，导致准确性下降问题，实验结果表明该方法在 DAVIS 和 Youtube-VOS 基准测试中均表现出卓越性能，并在 DAVIS 2020 挑战赛中排名第一。

    Apr, 2021

  • 视频对象分割的学习实例传播（Learning Instance Propagation for Video Object Segmentation）

    本研究提出了一种端到端的深度神经网络，结合了 Mask-RCNN 实例分割网络和 Conv-GRU 视觉记忆模块，用于解决半监督视频对象分割任务，实验结果表明该方法在 DAVIS 数据集上取得了令人满意的结果。

    Sep, 2019

  • 逐帧视频目标分割

    本文提出了一种基于片段的推理方案，用于半监督视频分割，得到了最先进的表现，包括准确性和效率收益，通过夹杂在一段时间内进行两次推断和显式改进内部特性的片段操作，以及在片段内部推广匹配机制等模块的协同作用。

    Aug, 2022

  • 视频物体分割的鲁棒高效记忆网络

    该研究提出 REMN，一种稳健高效的记忆网络，用于半监督视频物体分割，通过引入本地注意机制和动态记忆库，解决了非局部匹配和高时间冗余的问题，实验表明 REMN 在 DAVIS 2017 和 YouTube-VOS 2018 上均取得最新的成果，具有较高的推理速度和相对较少的计算资源。

    Apr, 2023

  • 视频对象分割的学习策略

    该研究提出了一种新的、自动化的视频物体分割方法，通过集成一种可区分的少量样本学习模块，提高了分割精度，实现了当前 YouTube-VOS 2018 数据集的最新最佳分数，并使相对改进率达到了 2.6％以上。

    Mar, 2020

  • M3T：视频目标分割和跟踪的多尺度记忆匹配

    通过提出一种新颖的，DET-R 风格的编码器 - 解码器架构，我们克服了长视频中有关小对象的数据特性所带来的挑战，并在两个复杂数据集上实现了最先进的性能。

    Dec, 2023

  • 视频目标分割的高效区域存储网络

    该研究论文提出了一种局部匹配的解决方案，即区域性记忆网络（RMNet），用于半监督视频对象分割技术，旨在消除空间 - 时间记忆网络中的全局匹配误差并提高计算效率。实验表明， RMNet 在 DAVIS 和 YouTube-VOS 数据集上的表现优于现有的技术。

    Mar, 2021

  • 朝向时间一致的参考视频对象分割

    提出了一种新的端到端的 R-VOS 范例，通过显式建模时序实例一致性与指定分割相结合，引入了一种新颖的混合内存，用于在鲁棒的时空匹配和传播中促进帧间协作；通过多粒度的关联将具有高质量参考掩码的帧的特征传播到其余帧，以实现时间一致的 R-VOS；此外，提出了一种新的掩码一致性评分 (MCS) 指标，用于评估视频分割的时间一致性；大量实验证明我们的方法显著提高了时间一致性，在流行的 R-VOS 基准测试中取得了最高的性能，即 Ref-YouTube-VOS (67.1%) 和 Ref-DAVIS17 (65.6%)。

    Mar, 2024