AAAIJan, 2024

STAIR: 空间 - 时序推理中间结果可审计的视频问答方法

PDF
TL;DR提出了 STAIR，一个用于视频问答的具有可审计中间结果的时空推理模型。STAIR 是一个神经模块网络，包含一个程序生成器和一组轻量级神经模块，用于完成视频问答的基本子任务，并引入了中间监督来提高准确性。
video question answeringtemporal reasoningneural module networkintermediate supervisionprogram annotations
发现论文，激发创造
  • 视频问答的分层面向对象时空推理

    通过提出一种基于对象导向推理的动态交互视频场景中的视觉物体关系、行为和事件的深度神经网络模型（HOSTR），能够在多个视频问题回答基准数据集中取得最新的最高成就并显示出其可靠性、可解释性和高效性。

    Jun, 2021

  • 面向动态音视情境的目标感知时空推理问题回答

    本研究提出了一种针对音视频问答（AVQA）任务的目标感知联合时空基础网络，利用三种模态的一致性损失实现了问题感知的时空基础，增加了音频 - 视觉互动，采用了单一流结构中的融合方法，在 MUSIC-AVQA 数据集上的实验结果证明了该方法优越性及其有效性。

    May, 2023

  • 发现视频问答的时空原理

    本论文旨在解决复杂的视频问答问题，针对长时间包含多个对象和事件的视频，通过提出时空合理化和 TranSTR 等方法，成功地在多个数据集上取得了新的最先进结果。

    Jul, 2023

  • TGIF-QA：关于视觉问答中时空推理的研究

    本文提出了三个特别设计用于视频 VQA 的新任务，推出一个新的大型数据集 TGIF-QA，并提出了一种利用空间和时间关注的双 LSTM 方法，证明其在经验评估中的有效性。

    Apr, 2017

  • TVQA+: 视频问答的时空引用

    该研究针对视频问答这一任务，提出增加 bounding boxes 数据集，以此为基础构建了 STAGE 框架，在空间和时间域上对视频进行处理，以便回答关于视频的自然语言问题，并展示了实验结果和可视化。

    Apr, 2019

  • 神经符号化视频问答：为现实世界视频问答学习组合的时空推理

    该研究提出了一种针对实际视频问答任务的神经符号框架（NS-VideoQA），通过引入场景解析网络（SPN）和符号推理机（SRM），实现了对复合时空问题的高效推理和回答能力的提升。

    Apr, 2024

  • 视频问答的快慢神经推理

    本研究提出了一种基于双过程神经架构的视频问答系统，该系统能够理解语言、表示视频内容，并通过多步推理过程得出答案

    Jul, 2019

  • STREET: 一个多任务结构化推理和解释基准

    本文介绍 STREET，一个统一的多任务、多领域自然语言推理和解释基准。该基准要求模型不仅能回答问题，还能产生步骤化的结构化解释，并描述问题中的前提是如何用于产生能证明某个答案正确性的中间结论。作者使用 GPT-3 和 T5 等常见语言模型进行了广泛的评估，发现这些模型在产生这些结构化推理步骤方面仍远落后于人类表现。作者相信，这项工作将为社区提供一种更好的方法，以在自然语言的多步推理和解释方面进行更好的系统培训和测试。

    Feb, 2023

  • MoReVQA: 探索视频问答的模块化推理模型

    通过分解为多阶段的模块化推理框架来解决视频问答（videoQA）任务，我们的方法 MoReVQA 通过事件解析器、定位阶段、最终推理阶段和外部存储器在标准视频问答基准测试中取得了最先进的结果，并在相关任务（基于视频的问答、段落字幕生成）上得到扩展。

    Apr, 2024

  • 面向推理感知的可解释视觉问答

    该研究提出了一种基于最先进的 VQA 框架的端到端解释生成模块，通过引入 LSTM 和 Transformer 解码器，生成人类可读的文本解释，同时保持 SOTA VQA 精度。

    Nov, 2022