该论文主要介绍了一种基于条件计算结构的一般性可重用神经元 CRN 和视频 QA 中的分层条件关系网络 HCRN，旨在解决视频问题答案推理的问题。并在广泛的真实世界数据集上展示了其优越性能。

Oct, 2020

本文提出了一种将视频建模为条件分层图层次结构的方法，通过组合不同层次的视觉元素来对齐语言查询中的多粒度语义概念，该方法超越了先前方法的表现，且对于不同类型的问题也具有更好的泛化能力。

Dec, 2021

通过提出一种基于对象导向推理的动态交互视频场景中的视觉物体关系、行为和事件的深度神经网络模型（HOSTR），能够在多个视频问题回答基准数据集中取得最新的最高成就并显示出其可靠性、可解释性和高效性。

Jun, 2021

本研究提出了 QAGCN—— 一种简单而有效的使用注意力图卷积网络的多步推理问题答案推导模型，避免了传统复杂推理机制的不稳定性和低至。经过广泛的实验，我们证明了 QAGCN 在几个具有挑战性的数据集上与当前最先进的基于深度强化学习的方法相比非常有竞争力，提高了效率并保持了高的解释性。

Jun, 2022

该论文提出了一种关键词感知的相对时空图网络（KRST）用于视频问答，通过在问题编码过程中使用注意机制让问题特征对关键词敏感，指导视频图构建，并整合了相对关系建模以更好地捕捉物体节点之间的时空动态，实验证明 KRST 方法在多个现有方法上具有优势。

Jul, 2023

本文提出了一种使用选择 - 查询交互和选择 - 选择关系构建解决视频阅读理解中的时间语言接地问题的框架，并引入了一种新颖的多选择关系构造器，通过利用图卷积捕获最佳选择的视频时刻之间的依赖关系，并在 ActivityNet-Captions、TACoS 和 Charades-STA 数据集上进行了广泛的实验证明了我们的方法的有效性。

Oct, 2021

本研究提出了一种基于双过程神经架构的视频问答系统，该系统能够理解语言、表示视频内容，并通过多步推理过程得出答案

Jul, 2019

本研究提出了一种基于关系感知图形注意力网络（ReGAT）的 VQA 模型，该模型通过图形注意机制将每个图像编码为图形，再通过多类型的物体关系建模，以学习问题自适应的关系表示，并在 VQA 2.0 和 VQA-CP v2 数据集上优于现有的 VQA 方法，同时具有通用的关系编码器功能。

Mar, 2019

该论文介绍了一种时间关系网络（TRN），通过对多个时间尺度上视频帧之间的时间依赖关系进行学习和推理，使卷积神经网络具有发现视频中时间关系的显着能力。经过实验证明，TRN 配备的网络可以通过仅稀疏采样的视频帧，在 Something-Something、Jester 和 Charades 数据集上准确预测人 - 物交互，并以非常有竞争力的性能识别 Jester 数据集上的各种人类手势，并在 Charades 数据集中识别日常活动，这超过了两个流网络和 3D 卷积网络的表现。进一步的分析表明，模型在视频中学习了直观和可解释的视觉常识知识。

Nov, 2017

该研究提出了一种针对实际视频问答任务的神经符号框架（NS-VideoQA），通过引入场景解析网络（SPN）和符号推理机（SRM），实现了对复合时空问题的高效推理和回答能力的提升。

Apr, 2024