IJCAIJun, 2021

视频问答的分层面向对象时空推理

PDF
TL;DR通过提出一种基于对象导向推理的动态交互视频场景中的视觉物体关系、行为和事件的深度神经网络模型（HOSTR），能够在多个视频问题回答基准数据集中取得最新的最高成就并显示出其可靠性、可解释性和高效性。
video qaobject-oriented reasoningneural networksspatio-temporal reasoningai capabilities
发现论文，激发创造
  • TGIF-QA：关于视觉问答中时空推理的研究

    本文提出了三个特别设计用于视频 VQA 的新任务，推出一个新的大型数据集 TGIF-QA，并提出了一种利用空间和时间关注的双 LSTM 方法，证明其在经验评估中的有效性。

    Apr, 2017

  • 神经符号化视频问答：为现实世界视频问答学习组合的时空推理

    该研究提出了一种针对实际视频问答任务的神经符号框架（NS-VideoQA），通过引入场景解析网络（SPN）和符号推理机（SRM），实现了对复合时空问题的高效推理和回答能力的提升。

    Apr, 2024

  • 视频问答的快慢神经推理

    本研究提出了一种基于双过程神经架构的视频问答系统，该系统能够理解语言、表示视频内容，并通过多步推理过程得出答案

    Jul, 2019

  • HySTER: 一个混合空间时间事件推理器

    本文介绍 HySTER：一种可以理解视频中的物理事件的混合时空事件推理器，将深度学习和符号人工智能的推理能力和说明性相结合应用于 VideoQA 问题，采用一种基于时间、因果和物理规则的方法，并在 CLEVRER 数据集上展示出了最先进的问题回答准确性结果。

    Jan, 2021

  • 构建视频故事理解的分层问答数据集

    本文提出了一种分层方法来构建 Q&A 数据集，介绍了视频故事理解的三个标准：记忆容量、逻辑复杂度和 DIKW 金字塔，并讨论了如何从这些标准构建三维图来评估与视频故事理解相关的智能水平。

    Apr, 2019

  • TVQA+: 视频问答的时空引用

    该研究针对视频问答这一任务，提出增加 bounding boxes 数据集，以此为基础构建了 STAGE 框架，在空间和时间域上对视频进行处理，以便回答关于视频的自然语言问题，并展示了实验结果和可视化。

    Apr, 2019

  • 视觉问答中的场景图推理

    我们提出了一种基于场景图和强化学习的方法来解决视觉问答任务，实验结果表明该方法在 GQA 数据集上已达到接近人类水平的效果。

    Jul, 2020

  • 关键词感知的视频问答的相对时空图网络

    该论文提出了一种关键词感知的相对时空图网络（KRST）用于视频问答，通过在问题编码过程中使用注意机制让问题特征对关键词敏感，指导视频图构建，并整合了相对关系建模以更好地捕捉物体节点之间的时空动态，实验证明 KRST 方法在多个现有方法上具有优势。

    Jul, 2023

  • 面向事件级别视频问答的语义感知动态回顾 - 预测推理

    本文提出了一种语义感知的动态回顾 - 前瞻推理方法，用于视频问答，通过使用问题的语义角色标注（SRL）结构，实现了基于语义连接的复杂推理，在 TrafficQA 数据集上实验结果显示，相较于之前的最先进模型，该方法实现了卓越的性能提升。

    May, 2023

  • 分层条件关系网络用于视频问答

    通过介绍一种条件关系网络的方法来构建可复用神经元，用于视频中的表示和推理，并在 Well-known 的数据集上取得最新的状态技术，证明 CRN 对于视频问答等复杂域的表示和推理是成功的。

    Feb, 2020