本文提出TVQA，一个基于6个流行电视节目的大规模视频问答数据集，共计包含152,545对QA对，分布在21,793个片段中，共涵盖了460小时的视频。该数据集中的问题具有组合性质，需要系统联合定位剪辑中的相关片段，理解基于字幕的对话，并识别相关的视觉概念。作者提供了该数据集的分析以及几个基线模型和一个多流端到端可训练的神经网络框架。

Sep, 2018

GQA是一个旨在解决以往VQA数据集的缺陷问题的实际可视化推理和组成问题回答数据集，它使用场景图结构创建了2200万个不同的推理问题，伴随着功能程序共同表示它们的语义，其中包括新的可调平滑技术来缓解问题偏差。贯穿数据集的还有一套新的度量标准，可以评估基本的质量，例如一致性、基础和可信性。

Feb, 2019

本文介绍一种名为ActivityNet-QA的全新、已标注的大规模VideoQA数据集，以此作为基础，探讨了在长视频情境下提高VideoQA性能的各种视频表示方法和已有的VideoQA基准测试的比较方法。

Jun, 2019

本论文针对计算机视觉模型做了一个新的基准，名为Action Genome Question Answering (AGQA)，并提供了3.9M个问题答案对的平衡子集，以最小化偏倚。AGQA引入了多个训练/测试集来测试各种推理能力，包括新颖组合的泛化，间接引用以及更多的组合步骤。这项研究发现，最好的模型仅能比利用语言偏见的非视觉基准优秀一些；并且现有的模型都无法推广到训练中未见过的新颖组合。

Mar, 2021

介绍了AGQA 2.0，这是一个改进版的模型问答基准测试，通过更严格的平衡程序来减少语言偏倚，实验结果表明这个改进版的基准测试可以更好地衡量视觉组合推理

Apr, 2022

本文开发了一个问题分解引擎，能将组合问题分解为子问题的有向无环图。使用问题图，我们评估了三个最先进的模型，并使用一组新的组成一致性指标。 我们发现，这些模型无法正确地通过大多数构图进行推理，或者依赖于错误推理来获得答案，并在中间的推理步骤失败时频繁地自相矛盾或达到高准确度。

Apr, 2022

本研究引入了FunQA挑战性视频问题回答数据集，它是专门设计的，以评估和增强基于反直觉和有趣视频的视频推理深度，涵盖幽默类，创意类和魔术类，总共包括312K自由文本QA对以及4.3K视频剪辑，跨越24小时总计。

Jun, 2023

提出了Open-vocabulary Video Question Answering（OVQA）基准测试，旨在通过考虑罕见和未知的答案来衡量VideoQA模型的泛化能力，并引入一种改进了模型泛化能力的新型GNN-based soft verbalizer。

Aug, 2023

通过分解为多阶段的模块化推理框架来解决视频问答（videoQA）任务，我们的方法MoReVQA通过事件解析器、定位阶段、最终推理阶段和外部存储器在标准视频问答基准测试中取得了最先进的结果，并在相关任务（基于视频的问答、段落字幕生成）上得到扩展。

Apr, 2024

我们提出了一个模型无关的视频对齐和答案聚合框架（VA^3），通过整合视频对齐器和答案聚合器模块来增强现有的视觉问答方法的组合一致性和准确性，实验证明我们的框架提高了现有方法的组合一致性和准确性，大大提升了可解释性。

Jul, 2024