Dec, 2023

零样本视频对象分割的分层图模式理解

PDF
TL;DR本研究提出了一种新的层次化图形神经网络建构（HGPU）架构，用于零样本视频对象分割（ZS-VOS），该网络通过利用动态线索（即光流）增强目标帧邻居的高阶表示，并通过分层解析和理解变换的多模态背景来实现更准确和稳健的结果。
optical flowvideo object segmentationgraph neural networkmotion cueshierarchical graph pattern understanding
发现论文，激发创造
  • 基于协同注意力传播网络的零样本视频目标分割

    本文提出了一种编码器 - 解码器的分层协同传播网络（HCPN），通过多个协同演化并结合平行协同模块（PCM）和跨模态协同模块（CCM）来跟踪和分割前景物体，在公共基准测试中优于所有以前的方法，展示了其在零样本视频对象分割中的有效性。

    Apr, 2023

  • 通过关注图神经网络进行零样本视频物体分割

    提出了一种新的关注图神经网络 (AGNN)，用于零样本视频对象分割 (ZVOS)。所提出的 AGNN 将此任务作为视频图上迭代信息融合的过程。通过参数化消息传递，AGNN 能够有效地捕捉和挖掘视频帧之间更丰富和更高阶的关系，因此实现更全面的视频内容理解和更准确的前景估计。扩展 AGNN 到另一个任务时，我们进一步证明了我们的框架的通用性。广泛的实验验证了 AGNN 能够学习视频帧或相关图像之间的潜在语义 / 外观关系，并发现共同的对象。

    Jan, 2020

  • 无监督学习分层脉冲神经网络用于光流估计：从事件到全局运动知觉

    本文提出了一种基于事件相机的分层尖峰神经网络结构，利用自适应神经元模型和稳定的 STDP 公式，实现了运动（方向和速度）选择的无监督特征提取和局部全局运动感知，验证了在合成和实际事件序列中具有生物视觉运动系统的主要属性，提供了一种能够加速大规模尖峰神经网络模拟的 cuSNN 库。

    Jul, 2018

  • 大规模视频对象分割中的全局动作理解

    通过在动态视频的对象分割中集成场景全局运动知识，我们展示了从其他领域的视频理解中转移知识并结合大规模学习可以提高复杂环境下的鲁棒性。我们提出了一种半监督视频对象分割架构，利用运动理解中的现有知识进行更平滑的传播和更准确的匹配。同时，我们使用大规模的 MOSE 2023 数据集训练模型，该方法在各种复杂场景中展现了强大的性能。

    May, 2024

  • 无监督视频对象分割的分层特征对齐网络

    提出了一种简洁而高效的分层特征对齐网络 (HFAN)，用于改进无监督视频对象分割 (UVOS) 中运动和外观特征的关联性，通过顺序的特征对齐模块 (FAM) 和特征适应模块 (FAT) 对外观和运动特征进行层次化处理，在 DAVIS-16 数据集上实验表明，在 J&F 平均值方面，HFAN 达到了新的最优性能，相对于最优结果提高了 3.5％。

    Jul, 2022

  • FODVid: 视频中的流引导物体发现

    我们在视频中对象的分割问题上提出了一种新的管道（FODVid），它基于使用流引导图割和时间一致性的思想来引导分割输出，通过设计一个融合了帧内外观和流相似性以及帧间对象时间持续性的分割模型，我们的方法在无监督的视频对象分割中取得了与现有顶级方法相当的结果（在 mIoU 范围内相差约 2 个单位），我们技术的简单性和效果为视频领域的研究开辟了新的研究途径。

    Jul, 2023

  • DeVOS: 流引导的可变形变压器用于视频对象分割

    结合基于记忆的匹配和运动引导传播的 DeVOS（可变形视频对象分割）架构，用于视频对象分割，实现稳定的长期建模和强大的时间一致性。

    May, 2024

  • 利用异构图表示实现可解释的运动预测

    本研究提出了一种新型的可解释的异质图策略模型 (XHGP)，并探讨了利用 GNNExplainer 和反事实推理来提高运动预测系统的可解释性，以便达到更为透明和可靠的自动驾驶需求。

    Dec, 2022

  • 每个像素都很重要：利用整体三维运动理解进行无监督几何学习

    本文通过在未标记视频上观看，利用深度卷积神经网络来学习单张图像的三维几何估计，通过将像素水平的三维物体运动加入到学习框架中，提供了整体的三维场景流理解并有助于单张图像的几何估计。

    Jun, 2018

  • 用于视频理解的统一图结构模型

    本文提出了一种基于信息传递的图神经网络，能够精确理解视频中行为者、对象和环境之间的关系，在显式表示对象时能够使用显式表示，否则使用隐含表示；在 AVA 和 UCF101-24 的时空行为检测以及最近的 Action Genome 数据集上的视频场景图分类等任务中，实现了最先进的结果，我们定量和定性的显示了我们的方法如何更有效地模拟场景中相关实体之间的关系。

    Mar, 2021