CVPRMar, 2020

运用知识蒸馏的时空图像处理技术进行视频字幕生成

PDF
TL;DR本文提出一种基于时空图模型的视频字幕生成算法，利用物体间相互作用关系提供显式的视觉表征，通过一种对象感知的知识蒸馏机制，可以在不稳定的性能中实现对象的稳定预测。经过对两个基准测试的广泛实验，展示了我们方法的有效性和可解释性预测的竞争性能。
video captioningobject interactionsspatio-temporal graph modelknowledge distillation mechanisminterpretable predictions
发现论文，激发创造
  • 视频字幕的判别性潜在语义图

    该研究提出了一种联合框架解决视频自动生成字幕中的三个关键问题，包括融合时空信息增强物体建议、动态提取高语义级别的视觉词，以及生成字幕验证确保语义概念的有效保留。实验表明该方法在各种评价指标上都显著优于现有的自然语言生成模型。

    Aug, 2021

  • 双向时序图的目标感知聚合用于视频字幕生成

    本文提出了一种新的视频字幕生成方法 OA-BTG，该方法利用基于目标感知聚合和双向时间图 (OA-BTG) 来捕捉视频中显著目标的详细时间动态，从而学习具有区分性的时空表示。实验表明 OA-BTG 在 BLEU@4、METEOR 和 CIDEr 指标上达到了最先进的性能。

    Jun, 2019

  • 基于不相交监督的密集视频目标字幕生成

    我们提出了一种针对密集视频对象字幕的新任务和模型 - 检测、跟踪和说明视频中所有对象的轨迹。

    Jun, 2023

  • 基于关系图学习的视频描述生成

    本研究设计了一种新颖的关系图学习框架，包括一种语言细化的场景图表示，探索细粒度的视觉概念，并解决了对象幻觉问题。实验结果表明，本方法可以生成更精细和准确的描述。

    Dec, 2021

  • 利用字幕的关注语义视频生成

    该研究提出了一种网络架构，利用标题执行可变长度的语义视频生成。网络能够区分视频中的对象，动作和交互，并将它们与长期和短期依赖结合起来，以增量方式生成视频。网络通过学习潜在表示对视频进行无监督生成，并在执行其他任务时表现出了良好的能力，如动作识别和空时样式转移。

    Aug, 2017

  • 通过标题的关注蒸馏生成场景图

    文章阐述了如何使用图像注释中的注意力分配机制来增强场景图的估计能力，提出了一种称为主题场景图的方法，学习从图像到自然语言的映射，并用于关系重要性估计。

    Oct, 2021

  • 视频问答的位置感知图卷积网络

    本文提出了一种基于图卷积和位置感知的方法，通过将视频内容表示为具有位置信息的图形式来更好地回答视频问答问题。该方法结合了对象物体交互的位置和关系，提取动作的类别和时间位置。在 TGIF-QA、Youtube2Text-QA 和 MSVD-QA 数据集上得出的实验表明该方法优于现有的方法。

    Aug, 2020

  • 基于物体和交互的视频字幕

    提出了利用视频中物体的交互来生成视频字幕的方法，并构建了 SINet-Caption 模型，可以在更精细的视频理解方面获得最先进的结果，同时在 ActivityNet Captions 数据集上进行了实验验证。

    Nov, 2017

  • 时空动作图网络

    提出了一种基于解离图嵌入的物体相互作用图形表示，用于活动识别，该模型通过事实嵌入图结构来解开空间维度与时间变化之间的表示层次结构，并在 Charades 活动识别基准测试以及聚焦于与近碰撞事件的多物体交互的新数据集上进行了验证。

    Dec, 2018

  • 视频聊天字幕生成器：朝向丰富化的时空描述

    本研究提出了一个新的视频描述方法，即 Video ChatCaptioner，它使用 ChatGPT 模型作为控制器，提出视频内容驱动的问题并回答这些视觉查询，从而生成包含更多视觉细节的视频标题。

    Apr, 2023