本文提出 TVQA，一个基于 6 个流行电视节目的大规模视频问答数据集，共计包含 152,545 对 QA 对，分布在 21,793 个片段中，共涵盖了 460 小时的视频。该数据集中的问题具有组合性质，需要系统联合定位剪辑中的相关片段，理解基于字幕的对话，并识别相关的视觉概念。作者提供了该数据集的分析以及几个基线模型和一个多流端到端可训练的神经网络框架。

Sep, 2018

为了避免手动注释，提出了利用自动交叉模态监督生成视频问答数据集的方法，通过使用问题生成变形器从语音转录中生成问题 - 答案对，然后根据视频 - 问题多模式变形器和答案变形器之间的对比损失训练处理答案的多模式变形器，生成如何 VQA69M，WebVidVQA3M 和 iVQA 等不同数据集，结果表明在多个数据集上其结果优秀。

May, 2022

本文介绍了第一个专门设计用于体育视频问答任务的数据集 ——Sports-QA 数据集，并提出了一种新的自动聚焦 Transformer（AFT），用于自动关注在问题回答中特定时间尺度的信息，通过对 Sports-QA 数据集的广泛实验研究，结果表明我们的 AFT 达到了最先进的性能。

Jan, 2024

本文针对 VideoQA 展开研究，提出了一个明确的分类学和全面的分析方法，并指出未来探索的几个有前途的方向。

Mar, 2022

本文提出一个大规模的人工标注真实世界 QA 数据集 WebQA，通过序列标注模型将神经 QA 视为序列标注问题，与现有神经 QA 方法相比，性能大幅度提高，F1 得分为 74.69％。

Jul, 2016

本研究提出了一种使用自动跨模态监督和问题生成转换器生成问题和答案对的方法来生成大规模视频问答训练数据集，并提出了一种基于对比损失的训练程序来处理其多样的答案类型。通过实验证明，在 MSRVTT-QA、MSVD-QA、ActivityNet-QA 和 How2QA 等多个任务上，该方法明显优于现有技术。

Dec, 2020

本研究介绍了 ANetQA，这是一个支持对挑战性非剪辑视频进行精细组成式推理的大规模基准测试。与现有的基准测试相比，它通过自动从预注释场景图中生成 QA 对，使得可以对多样化的推理能力进行粒度控制。与 AGQA 相比，ANetQA 的 QA 对具有更细粒度的语义特征，因此可以更好地帮助评估 VideoQA 模型。

May, 2023

本综述探讨了最近新兴的计算机视觉领域中的视频问答任务，重点回顾了一些方法和数据集，并指出此任务以前没有进行过综述。

Jan, 2021

提出了一种新的基于教学视频的问题回答任务，并介绍了一个包含约 6000 个三元组的数据集（视频，问题，回答跨度），并使用几个基准算法对其进行了实验，从而得出该任务的挑战性并呼吁探索新算法。

Dec, 2019

在自动驾驶中，视觉问答（VQA）是最重要的任务之一，要求准确的识别和复杂情况评估。本研究介绍了一种新型数据集标注技术 Markup-QA，其中问题回答被包含在标记中，该方法有助于同时评估模型在语句生成和 VQA 方面的能力。此外，通过使用这种标注方法，我们设计了 NuScenes-MQA 数据集，该数据集侧重于自动驾驶任务的描述能力和准确的问答，可为视觉语言模型的开发提供支持。

Dec, 2023