Nov, 2023

缩小差距：一个统一的视频理解框架用于时刻检索和重点检测

PDF
TL;DR提出了一种统一视频理解框架 (UVCOM)，通过深入挖掘内在的本质特点，联合解决视频片段检索和重点片段检测问题。在多粒度的内部和跨模态的进步集成中，通过多方面对比学习，实现了对视频进行全面理解，成功地提高了效果。
video moment retrievalhighlight detectiontransformer-based architectureunified video comprehension frameworkmulti-aspect contrastive learning
发现论文，激发创造
  • UMT: 统一多模态 Transformers 用于联合视频片段检索和亮点检测

    本研究提出了一个名为 UMT 的统一多模态转换器的框架，能够实现时刻检索和精华视频检测的联合优化，并且能够轻松地退化为解决单个问题。实验结果表明，该方法在各种设置下都具有有效性、优越性和灵活性。

    Mar, 2022

  • GPTSee: 通过基于描述的相似特征增强时刻检索和亮点检测

    通过将生成的视频描述和查询语句在第二阶段的 Transformer 编码器 - 解码器中计算语义相似度并将高相似度的视频帧转换为位置信息，我们的方法在时刻检索和重点检测任务中表现出色，超过了传统方法 Moment-DETR 的定位准确性。

    Mar, 2024

  • 通过自然语言查询进行联合时刻检索和高亮检测

    本计划提出了一种新方法，使用多模式 Transformer 进行基于自然语言查询的视频摘要和亮点检测，以匹配用户自然语言查询来检索视频中最相关和最有趣的时刻， 并在多个数据集上进行评估，如 YouTube 亮点和 TVSum。

    May, 2023

  • 任务驱动的探索：解耦和任务间反馈用于联合时刻检索和亮点检测

    提出了一个基于任务驱动的自上而下框架 TaskWeave，用于联合视频片段检索和精彩时刻检测，通过任务解耦单元、任务特定共享表示以及任务之间的反馈机制实现了任务间的协同。实验验证了该框架的有效性和灵活性。

    Apr, 2024

  • 对比学习视频语料库瞬间检索

    本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

    May, 2021

  • 大规模整体视频理解

    本文介绍了一个基于语义分类的大规模 Holistic 视频理解数据集 HVU，它实现了对多标签、多任务视频理解的全面考虑，以及介绍了一种新的综合外观和时间神经网络体系结构 HATNet，本文拓展了视频识别范畴，验证了 Holistic 表示学习在许多实际应用程序中的重要作用。

    Apr, 2019

  • TR-DETR: 具有任务互逆性的 Transformer 模型，用于联合出现时刻检索和摘要提取

    基于自然语言查询的视频时刻检索（MR）和精彩片段检测（HD）是两个高度相关的任务，目标是获取视频中的相关时刻和每个视频片段的精彩得分。本文提出了一种基于 DETR 的任务互补变换器（TR-DETR），专注于探索 MR 和 HD 之间的内在互补性。实验表明，TR-DETR 优于现有的最先进方法。

    Jan, 2024

  • MH-DETR: 跨模态变换器进行视频片段和精华片段检测

    提出了面向视频时刻和精彩片段检测的 MH-DETR 模型，其采用简单而高效的池化操作和跨模态交互模块，以获得更好的时序内模态上下文和跨模态特征。在多个数据集上的实验结果表明，MH-DETR 优于现有的最先进方法，具有较高的准确性和鲁棒性。

    Apr, 2023

  • 视频语料库中的时刻定位层级多模态编码器

    本文提出了一种名为 HAMMER 的 HierArchical Multi-Modal EncodeR 模型，通过在粗略的片段级别和细粒度的帧级别编码视频，从多个子任务中提取不同尺度的信息，从而解决了在未处理和未分段的视频中定位未定义段的挑战。实验结果表明，我们的方法优于以前的方法和强基线，是此任务的新的 state-of-the-art。

    Nov, 2020

  • 视频片段检索的逐帧跨模态匹配

    本文提出了一种基于交互建模的专注跨模态相关性匹配（ACRM）模型，用于预测时间边界，并通过内部帧进行模型训练以提高定位精度，通过在 TACoS 和 Charades-STA 数据集上进行的实验表明，ACRM 模型优于几种最先进的方法。

    Sep, 2020