Apr, 2023

基于协同注意力传播网络的零样本视频目标分割

PDF
TL;DR本文提出了一种编码器 - 解码器的分层协同传播网络（HCPN），通过多个协同演化并结合平行协同模块（PCM）和跨模态协同模块（CCM）来跟踪和分割前景物体，在公共基准测试中优于所有以前的方法，展示了其在零样本视频对象分割中的有效性。
zero-shot video object segmentationencoder-decoder-based hierarchical co-attention propagation networkparallel co-attention modulecross co-attention modulespatio-temporal feature propagation
发现论文，激发创造
  • 视频对象分割的学习实例传播（Learning Instance Propagation for Video Object Segmentation）

    本研究提出了一种端到端的深度神经网络，结合了 Mask-RCNN 实例分割网络和 Conv-GRU 视觉记忆模块，用于解决半监督视频对象分割任务，实验结果表明该方法在 DAVIS 数据集上取得了令人满意的结果。

    Sep, 2019

  • 通过关注图神经网络进行零样本视频物体分割

    提出了一种新的关注图神经网络 (AGNN)，用于零样本视频对象分割 (ZVOS)。所提出的 AGNN 将此任务作为视频图上迭代信息融合的过程。通过参数化消息传递，AGNN 能够有效地捕捉和挖掘视频帧之间更丰富和更高阶的关系，因此实现更全面的视频内容理解和更准确的前景估计。扩展 AGNN 到另一个任务时，我们进一步证明了我们的框架的通用性。广泛的实验验证了 AGNN 能够学习视频帧或相关图像之间的潜在语义 / 外观关系，并发现共同的对象。

    Jan, 2020

  • 综合原型注意力网络用于少样本视频目标分割

    本文提出了一种新的全局原型注意力网络方法，通过将局部注意力与全局原型图协同地作用于少样本视频目标分割任务中，使得模型能够更加准确地学习到支持图像与视频帧之间的关联性，并且获得更好的性能表现。

    Jul, 2023

  • MHP-VOS：视频目标分割的多假设传播

    本文提出一种新方法来解决半监督视频对象分割问题，采用基于 Multiple Hypotheses Tracking 的 Bounding Box 假设来跟踪视频中的目标物体，并通过基于运动模型的门控策略来产生多个假设，最后采用自定义的算法来处理目标缺失和掩膜冲突等问题，通过大量的测试证明本方法具有良好的效果。

    Apr, 2019

  • 零样本视频对象分割的分层图模式理解

    本研究提出了一种新的层次化图形神经网络建构（HGPU）架构，用于零样本视频对象分割（ZS-VOS），该网络通过利用动态线索（即光流）增强目标帧邻居的高阶表示，并通过分层解析和理解变换的多模态背景来实现更准确和稳健的结果。

    Dec, 2023

  • 看得更多，知道得更多：利用联合注意力孪生网络进行无监督视频对象分割

    提出了一种名为 COSNet 的新型网络，用于表示全局视角下的无监督视频对象分割任务，其中利用全局注意机制结合视频帧之间的相关性，训练效果超越当前的深度学习方法。

    Jan, 2020

  • 视频对象分割的一次性训练

    本论文提出了一种视频目标分割 (VOS) 的新的一次性训练框架，只需要一个标记的帧来训练，并适用于大多数最先进的 VOS 网络。通过双向训练，我们得到了一个令人满意的 VOS 网络，仅使用了 YouTube-VOS 和 DAVIS 数据集的一个标记的帧，达到了与完全标记的数据集训练的结果相当的效果。

    May, 2024

  • 多源融合与自动预测器选择的零样本视频目标分割

    本文提出了一种多源融合网络，通过 interoceptive 空间关注模块和特征净化模块有效地融合多源特征，以及自动选择预测器防止对低质量光流图像产生过度依赖，从而实现了零样本视频对象分割的优异表现。

    Aug, 2021

  • 零样本视频目标分割的深度感知测试时间训练

    该研究通过引入测试时培训策略，建立了一个同时进行分割和深度预测任务的单一网络，使用特别设计的深度调制层来有效学习。同时，对于测试时培训过程，模型通过预测不同数据增强下相同帧的一致深度图来进行更新，通过动量和循环的权重更新策略，取得了稳定的改进效果，显著提升了零样本视频对象分割（ZSVOS）方法的性能。

    Mar, 2024

  • 单次视频目标分割

    本文提出一种基于神经网络的半监督视频目标分割技术，能够在保证处理速度的前提下提升目标分割的效果。

    Nov, 2016