CVPRJun, 2024

RMem: 受限内存存储改进视频对象分割

PDF
TL;DR通过限制记忆库的规模，我们在视频目标分割模块（VOS）中实现了显著的提高。这个过程平衡了帧的重要性和新鲜度，以维持一个有限容量的信息性记忆库，并降低了训练 - 推理过程中记忆长度的差异，从而在时间推理方面开辟了新的机遇。最终，我们通过 “RMem”（即 “R” 表示限制）将这些见解体现出来，这是一个简单而有效的在具有挑战性的 VOS 场景中取得卓越表现的 VOS 修改方法，并在目标状态变化方面（在 VOST 数据集上）和长视频方面（在长视频数据集上）建立了新的最佳性能。
video object segmentationmemory banksvos accuracytemporal reasoningrmem
发现论文，激发创造
  • 视频物体分割的鲁棒高效记忆网络

    该研究提出 REMN，一种稳健高效的记忆网络，用于半监督视频物体分割，通过引入本地注意机制和动态记忆库，解决了非局部匹配和高时间冗余的问题，实验表明 REMN 在 DAVIS 2017 和 YouTube-VOS 2018 上均取得最新的成果，具有较高的推理速度和相对较少的计算资源。

    Apr, 2023

  • 视频目标分割的循环动态嵌入

    该论文提出了一种 Recurrent Dynamic Embedding (RDE) 技术，利用 Spatio-temporal Aggregation Module (SAM) 来生成和更新一个大小固定的内存库，解决了长视频中硬件无法承受不断增加存储要求的问题。同时还加入一种无偏引导损失来增强 SAM 的鲁棒性，提出自我修正策略，使网络可以纠正内存库中具有不同质量的掩码嵌入，进而实现了在性能和速度之间的最佳平衡，并提供了相应的代码。

    May, 2022

  • 高效记忆继续学习的长视频目标分割

    提出两种方法以减少在线视频对象分割方法的内存需求，同时提高建模准确性和推广性，并实验结果表明这些方法可以提高在线视频对象分割模型的性能，增强其在长视频数据集上的鲁棒性。

    Sep, 2023

  • 无约束视频对象分割中的强大嵌入关联多元记忆

    提出一种面对来自各种场景不受限制的视频的半自动视频对象分割的模块化框架，集成了嵌入式技术，可避免冗余数据的积累，实现视频对象分割的高效率，适用于 Long-time Video dataset 等多样化视频资源。

    May, 2023

  • 双时序记忆网络用于高效的视频目标分割

    本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战，包括短期记忆子网络和长期记忆子网络，通过图形学习框架提高局部区域间的可视一致性，在三个常用的数据集上取得了非常好的性能。

    Mar, 2020

  • 视频目标分割的高效区域存储网络

    该研究论文提出了一种局部匹配的解决方案，即区域性记忆网络（RMNet），用于半监督视频对象分割技术，旨在消除空间 - 时间记忆网络中的全局匹配误差并提高计算效率。实验表明， RMNet 在 DAVIS 和 YouTube-VOS 数据集上的表现优于现有的技术。

    Mar, 2021

  • M3T：视频目标分割和跟踪的多尺度记忆匹配

    通过提出一种新颖的，DET-R 风格的编码器 - 解码器架构，我们克服了长视频中有关小对象的数据特性所带来的挑战，并在两个复杂数据集上实现了最先进的性能。

    Dec, 2023

  • XMem++：从少量标注帧生成生产级别的视频分割

    我们提出了一种新颖的半监督视频对象分割 (SSVOS) 模型 XMem++，通过引入永久记忆模块来改进现有的基于记忆的模型，在生产环境中持续地从高度复杂的场景中提取复杂对象仍然是一项费时费力的任务。我们的方法能够以较少的帧标注数量提取高度一致的结果，并引入了一种迭代和基于注意力的帧建议机制来计算最佳的下一帧注释。此外，我们还介绍了一个新的数据集 PUMaVOS，该数据集覆盖了以前基准中未出现的新的挑战性用例。我们在具有挑战性的（部分和多类别）分割场景以及长视频上展示了 SOTA 性能，同时确保显著减少了任何现有方法的帧标注数量。

    Jul, 2023

  • 基于核函数的记忆网络用于视频对象分割

    提出了一种基于核化记忆网络的半监督视频目标分割算法，采用了找茬策略来处理遮挡和边界提取等问题，并在标准基准测试上超过了目前最先进的算法 5% 的性能表现。

    Jul, 2020

  • 朝向时间一致的参考视频对象分割

    提出了一种新的端到端的 R-VOS 范例，通过显式建模时序实例一致性与指定分割相结合，引入了一种新颖的混合内存，用于在鲁棒的时空匹配和传播中促进帧间协作；通过多粒度的关联将具有高质量参考掩码的帧的特征传播到其余帧，以实现时间一致的 R-VOS；此外，提出了一种新的掩码一致性评分 (MCS) 指标，用于评估视频分割的时间一致性；大量实验证明我们的方法显著提高了时间一致性，在流行的 R-VOS 基准测试中取得了最高的性能，即 Ref-YouTube-VOS (67.1%) 和 Ref-DAVIS17 (65.6%)。

    Mar, 2024