Aug, 2023

长视频中的时间性字符分组的统一及动态图

PDF
TL;DR该论文提出了一个统一动态图（UniDG）框架，用于视频时间特征分组，通过统一表示网络、动态图聚类和渐进关联方法实现了多模态聚类结果的融合，通过在 MTCG 数据集上的评估以及现有聚类和检索数据集上的验证，实验证明我们的方法可以取得有希望的结果，并且胜过几种最先进的方法。
video temporal character groupinggraph-based supervised clusteringunified and dynamic graph frameworkmulti-modal clusteringmtcg dataset
发现论文，激发创造
  • 在线人脸聚类生成动态角色图，用于电影分析

    本文提出了一种基于动态角色互动的角色交互图（CIG）建模方法，该方法使用在线人脸聚类算法发现视频流中的角色，并利用生成的聚类的时态动态创建 CIG，以实现电影内容分析、情节结构分割和主要角色检索等任务。实验证明，该方法在包含超过 5000 个脸部轨迹的电影上均获得了优异的表现。

    Jul, 2020

  • 深度时变图聚类

    提出了基于交互序列的批处理模式的 deep Temporal Graph Clustering (TGC) 框架，通过调整聚类分配和邻接矩阵重建技术来适应时间图的互动动态。实验结果表明，TGC 框架可以有效提高现有临时图学习方法的性能。

    May, 2023

  • 统一的静态和动态网络：用于视频定位的高效时域滤波

    我们设计了一个统一的静态和动态网络 (UniSDNet)，用于在跨模态环境中学习视频和文本 / 音频查询之间的语义关联以实现高效的视频定位；我们的 UniSDNet 适用于自然语言视频定位（NLVG）和口语语言视频定位（SLVG）任务，并在多个数据集上取得了 SOTA 性能。

    Mar, 2024

  • 用于视频理解的统一图结构模型

    本文提出了一种基于信息传递的图神经网络，能够精确理解视频中行为者、对象和环境之间的关系，在显式表示对象时能够使用显式表示，否则使用隐含表示；在 AVA 和 UCF101-24 的时空行为检测以及最近的 Action Genome 数据集上的视频场景图分类等任务中，实现了最先进的结果，我们定量和定性的显示了我们的方法如何更有效地模拟场景中相关实体之间的关系。

    Mar, 2021

  • 视频中无偏场景图生成

    该研究提出了一个名为 TEMPURA 的框架，通过基于 Transformer 的序列建模，学习合成无偏差的关系表示，并使用高斯混合模型来减少视觉关系的预测不确定性，从而解决视频动态场景的场景图生成中存在的多种问题。该方法在生成更加无偏的场景图方面具有显著的优势。

    Apr, 2023

  • 基于时间图的动态图深度学习

    本文提出了一种称为 TGN 的新型深度学习框架，可以有效地在动态图形学中学习演化特征或连接。

    Jun, 2020

  • 无监督视频重新识别的动态标签图匹配

    本文旨在探讨如何在无监督行人重识别系统中进行跨摄像头标签估计，并提出了一种动态图匹配方法 (DGM)，通过学习中间估计标签来更新图像图和标签估计过程，降低跨摄像变化造成的不准确性。在多个基准测试中进行了广泛的实验，结果表明，DGM 与全监督基线相当，并优于竞争的无监督学习方法。

    Sep, 2017

  • 视频动作识别和检索的时间对比图学习

    提出了一种名为 TCGL 的自监督学习方法，通过建立图模型来学习视频的时序表示，利用 “片段内” 和 “片段间” 的时间依赖作为时序表示学习的自监督信号，在大规模行动识别和视频检索基准测试中展示了显著的性能优势。

    Jan, 2021

  • MTAG: 模态 - 时间注意力图用于不对齐的人类多模态语言序列

    本文提出了可解释的基于图的神经模型 MTAG，通过构建多模态序列数据的图，设计了 MTAG 融合操作和动态修剪和读取技术。MTAG 仅关注图中重要的交互，可在情感分析和情感识别基准测试中实现最先进的性能，同时使用了显著更少的模型参数。

    Oct, 2020

  • 使用图神经网络进行交通预测的统一时空建模

    本文提出了一种统一的 Spatio-Temporal Graph Convolution Network (USTGCN) 模型用于交通预测，该模型具有通过频谱计算实现的时空图表达和历史模式的捕捉等优点，并在实验中证明了其超越了现有模型，同时减少了培训时间。

    Apr, 2021