AAAIJan, 2021

HySTER: 一个混合空间时间事件推理器

PDF
TL;DR本文介绍 HySTER：一种可以理解视频中的物理事件的混合时空事件推理器，将深度学习和符号人工智能的推理能力和说明性相结合应用于 VideoQA 问题，采用一种基于时间、因果和物理规则的方法，并在 CLEVRER 数据集上展示出了最先进的问题回答准确性结果。
video question answeringhybrid spatio-temporal event reasoneranswer set programminginductive logic programmingclevrer dataset
发现论文，激发创造
  • 视频问答的分层面向对象时空推理

    通过提出一种基于对象导向推理的动态交互视频场景中的视觉物体关系、行为和事件的深度神经网络模型（HOSTR），能够在多个视频问题回答基准数据集中取得最新的最高成就并显示出其可靠性、可解释性和高效性。

    Jun, 2021

  • CLEVRER：用于视频表示和推理的碰撞事件

    介绍了一种新的视频数据集 CLEVRER，以组合描述、解释、预测和假设性问题的方式评估计算模型，结果表明现有的视觉推理模型在因果推理任务（解释性、预测性和假设性）方面表现不佳，需要在模型中融合语言输入和因果关系的理解。

    Oct, 2019

  • 面向事件级别视频问答的语义感知动态回顾 - 预测推理

    本文提出了一种语义感知的动态回顾 - 前瞻推理方法，用于视频问答，通过使用问题的语义角色标注（SRL）结构，实现了基于语义连接的复杂推理，在 TrafficQA 数据集上实验结果显示，相较于之前的最先进模型，该方法实现了卓越的性能提升。

    May, 2023

  • 跨模态事件相关的视频问答中的推理

    通过引入密集描述模态作为辅助信息，提出了一种新颖的端到端可训练模型，Event-Correlated Graph Neural Networks（EC-GNNs），以从三种模态（描述、视频和问题）中执行跨模态推理，并通过多步推理收集问题导向和事件相关证据。

    Dec, 2023

  • CLEVRER-Humans: 以人的方式描述物理和因果事件

    构建能推理物理事件及其因果关系的机器对于与物质世界进行灵活交互至关重要。为了解决现有物理和因果推理基准的缺点，我们提出了一种视频推理数据集，以人类标签为基础，用于对物理事件的因果判断。

    Oct, 2023

  • 神经符号化视频问答：为现实世界视频问答学习组合的时空推理

    该研究提出了一种针对实际视频问答任务的神经符号框架（NS-VideoQA），通过引入场景解析网络（SPN）和符号推理机（SRM），实现了对复合时空问题的高效推理和回答能力的提升。

    Apr, 2024

  • TVQA+: 视频问答的时空引用

    该研究针对视频问答这一任务，提出增加 bounding boxes 数据集，以此为基础构建了 STAGE 框架，在空间和时间域上对视频进行处理，以便回答关于视频的自然语言问题，并展示了实验结果和可视化。

    Apr, 2019

  • 发现视频问答的时空原理

    本论文旨在解决复杂的视频问答问题，针对长时间包含多个对象和事件的视频，通过提出时空合理化和 TranSTR 等方法，成功地在多个数据集上取得了新的最先进结果。

    Jul, 2023

  • 从特征和样本的视角重新思考视频问答中的多模态对齐

    本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在 NExT-QA 基准测试上表现出很高的性能。

    Apr, 2022

  • NExT-QA：问答到解释时间动作的下一阶段

    介绍了 NExT-QA，它是一个具有严谨设计的视频问答基准，旨在将视频理解从描述转化为解释时间动作；通过分析基线和现有的视频问答技术，发现表现最好的方法擅长浅层场景描述，但在因果和时间动作推理方面较弱。通过详细结果和启发式观察，希望 NExT-QA 能引导下一代视频问答研究超越表面的场景描述，实现对视频更深入的理解。

    May, 2021