ECCVApr, 2019

大规模整体视频理解

PDF
TL;DR本文介绍了一个基于语义分类的大规模 Holistic 视频理解数据集 HVU，它实现了对多标签、多任务视频理解的全面考虑，以及介绍了一种新的综合外观和时间神经网络体系结构 HATNet，本文拓展了视频识别范畴，验证了 Holistic 表示学习在许多实际应用程序中的重要作用。
video understandingsemantic aspectsholistic video understanding datasetmulti-labelhatnet
发现论文，激发创造
  • 人体为中心点云视频理解的统一框架

    提出了一种统一框架，通过充分利用先验知识和探索数据本身中的内在特征，实现了广义人为中心的点云视频理解，包括动作识别和 3D 姿态估计等任务，并在各种人相关任务中达到了最先进的性能。

    Mar, 2024

  • 针对深度视频理解的查询感知长视频定位和关系判别

    本文介绍了一种基于查询的长视频定位和关系判别方法，利用图像语言预训练模型来选择与查询相关的帧，免去了构建完整的电影级知识图谱的需要。该方法在两组电影级查询中取得了第一和第四名的位置，并且经过充分的实验证明其效果和鲁棒性。

    Oct, 2023

  • 走向全面的语言 - 视频表示：语言模型增强的 MSR-Video 到文本数据集

    通过自动增强语言 - 视频数据集和多方位视频字幕生成方法，提高语言 - 视频表示能力，并通过多模态检索模型验证其有效性。

    Jun, 2024

  • MovieNet: 电影理解的全面数据集

    本文介绍了 MovieNet，这是一个综合数据集，包括 1100 部电影，大量多模态数据以及详尽的手动注释，可以被用于全面理解电影。

    Jul, 2020

  • 基于事件理解的视频数据集综述

    通过调查 105 个需要事件理解能力的视频数据集，我们考虑它们对视频中鲁棒事件理解研究的贡献，并评估在这一研究领域中提出的视频事件提取任务，提出了基于调查结果的数据集策划和任务构建建议，特别强调视频事件的时间特性和视觉内容的歧义性。

    Jun, 2024

  • 缩小差距：一个统一的视频理解框架用于时刻检索和重点检测

    提出了一种统一视频理解框架 (UVCOM)，通过深入挖掘内在的本质特点，联合解决视频片段检索和重点片段检测问题。在多粒度的内部和跨模态的进步集成中，通过多方面对比学习，实现了对视频进行全面理解，成功地提高了效果。

    Nov, 2023

  • 层次行为识别：基于对比式视频 - 语言方法和层次交互

    通过构建新的细粒度数据集，提出了适用于层级识别的视频 - 语言学习框架，有效地解决了视频识别中的层级分类问题，对于细分子类尤其效果显著，为视频理解任务中的层级建模铺平了道路。

    May, 2024

  • 视频动作识别的分层注意力网络

    本文提出 Hierarchical Attention Network（HAN）用于实现复杂的人类行为理解。该模型可以同时融合视频的静态空间信息，短期运动信息和长期视频时间结构，并利用多步骤空间时间关注机制来自动学习视频帧中的重要区域和时间片段，最终在标准的视频行为基准测试中显著优于现有技术。

    Jul, 2016

  • 走向全面的场景理解：语义分割与更多

    本论文介绍了视觉场景理解的各方面研究，特别是通过使用语义分割网络在不同数据集上进行训练来提高分割性能和泛化性以及训练效率，以及通过多种方法来实现弱监督学习和部分感知全景分割等新任务，为实现全面、丰富、可持续的视觉场景理解铺平了道路。

    Jan, 2022

  • 迈向长型视频理解

    本研究通过开发评估协议和引入一种基于对象为中心的变压器视频识别架构，针对大规模数据集进行长型视频理解任务的研究，并展示了其在 7 项不同任务上的性能显著优于现有短期模型的结果，同时在 AVA 数据集上也优于可比较的最新研究成果。

    Jun, 2021