Mar, 2020

双时序记忆网络用于高效的视频目标分割

PDF
TL;DR本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战，包括短期记忆子网络和长期记忆子网络，通过图形学习框架提高局部区域间的可视一致性，在三个常用的数据集上取得了非常好的性能。
video object segmentationtemporal modelingshort-term memory sub-networklong-term memory sub-networksimplified-gated recurrent unit
发现论文，激发创造
  • 时空强化网络用于视频目标分割

    最近，视频对象分割（VOS）网络通常使用基于记忆的方法：对于每个查询帧，通过空间 - 时间匹配预测掩码以与记忆帧相匹配。尽管这些方法具有卓越的性能，但存在两个问题：1）具有挑战性的数据可以破坏相邻视频帧之间的空间 - 时间一致性。2）像素级匹配会由噪音或干扰引起不希望的不匹配。为解决上述问题，我们首先提出在相邻帧之间生成一个辅助帧，作为查询帧的隐式短时间参考。随后，我们为每个视频对象学习一个原型，并在查询帧和记忆帧之间实施原型级匹配。实验证明，在 DAVIS 2017 上我们的网络优于最先进的方法，达到了 86.4% 的 J&F 分数，并且在 YouTube VOS 2018 上获得了 85.0% 的竞争结果。此外，我们的网络的推理速度为 32+ FPS。

    May, 2024

  • 基于时间聚合网络和动态模板匹配的快速视频对象分割

    本文介绍了一种将 “tracking-by-detection” 引入视频对象分割的方法，通过提出一种新的时间聚合网络和新的动态时间演进模板匹配机制，成功将分割与跟踪相一致，并在 DAVIS 基准测试中取得了新的最优表现。

    Jul, 2020

  • 高效长短时注意力网络用于无监督视频目标分割

    无监督视频对象分割（VOS）旨在识别视频中主要前景对象的轮廓，但以往的方法没有充分利用时空上下文，并且无法在实时中处理这一具有挑战性的任务。因此，本文提出了一种高效的长短时序注意力网络（LSTA），从整体视角解决了无监督 VOS 任务。该网络由长时序记忆和短时序注意力两个主要模块组成，前者通过编码外观模式来捕获过去帧和当前帧的长期全局像素关系，后者通过编码动态模式来揭示附近帧和当前帧的短期局部像素关系。为了加快推理速度，采用了高效投影和基于局部性的滑动窗口，分别实现了两个轻量级模块的几乎线性时间复杂度。在几个基准测试中进行了大量实证研究，证明了所提方法具有高效的有希望的性能。

    Sep, 2023

  • 高效记忆继续学习的长视频目标分割

    提出两种方法以减少在线视频对象分割方法的内存需求，同时提高建模准确性和推广性，并实验结果表明这些方法可以提高在线视频对象分割模型的性能，增强其在长视频数据集上的鲁棒性。

    Sep, 2023

  • 视频物体分割的鲁棒高效记忆网络

    该研究提出 REMN，一种稳健高效的记忆网络，用于半监督视频物体分割，通过引入本地注意机制和动态记忆库，解决了非局部匹配和高时间冗余的问题，实验表明 REMN 在 DAVIS 2017 和 YouTube-VOS 2018 上均取得最新的成果，具有较高的推理速度和相对较少的计算资源。

    Apr, 2023

  • 视频目标分割的高效区域存储网络

    该研究论文提出了一种局部匹配的解决方案，即区域性记忆网络（RMNet），用于半监督视频对象分割技术，旨在消除空间 - 时间记忆网络中的全局匹配误差并提高计算效率。实验表明， RMNet 在 DAVIS 和 YouTube-VOS 数据集上的表现优于现有的技术。

    Mar, 2021

  • 视频对象分割的一次性训练

    本论文提出了一种视频目标分割 (VOS) 的新的一次性训练框架，只需要一个标记的帧来训练，并适用于大多数最先进的 VOS 网络。通过双向训练，我们得到了一个令人满意的 VOS 网络，仅使用了 YouTube-VOS 和 DAVIS 数据集的一个标记的帧，达到了与完全标记的数据集训练的结果相当的效果。

    May, 2024

  • 学习视频目标分割的快速和稳健的目标模型

    该研究提出了一种新的视频对象分割方式，它由轻量级模块和分割模型两部分组成。在推理阶段使用快速优化技术学习目标外观模型，以预测出粗略但鲁棒的目标分割，然后将粗略的分数转化成高质量的分割掩模，该模式具有快速、易于训练、在有限的训练数据情况下仍然高效等优点。在挑战性的 YouTube-VOS 和 DAVIS 数据集上进行了广泛实验，其结果与现有技术相比具有更高的帧率和优异的性能。

    Feb, 2020

  • 利用时空记忆网络进行视频对象分割

    提出了一种用于半监督视频对象分割的新型解决方案，通过利用内存网络中的可用线索和遍历所有可用源中的相关信息来实现更好的处理外观变化和遮挡等挑战，从而实现了最先进的性能。

    Apr, 2019

  • 基于核函数的记忆网络用于视频对象分割

    提出了一种基于核化记忆网络的半监督视频目标分割算法，采用了找茬策略来处理遮挡和边界提取等问题，并在标准基准测试上超过了目前最先进的算法 5% 的性能表现。

    Jul, 2020