本文提出 TVQA，一个基于 6 个流行电视节目的大规模视频问答数据集，共计包含 152,545 对 QA 对，分布在 21,793 个片段中，共涵盖了 460 小时的视频。该数据集中的问题具有组合性质，需要系统联合定位剪辑中的相关片段，理解基于字幕的对话，并识别相关的视觉概念。作者提供了该数据集的分析以及几个基线模型和一个多流端到端可训练的神经网络框架。

Sep, 2018

在视频问答中，我们使用基于 Gumbel 的可学习选择模块来自适应地选择最佳的输入，以实现对视频及语言任务的数据效率改进。我们的实验证明，即使在高度稀疏的设置下，我们只选取每个视频的 2-4 帧，视频长度仅为总长度的 10%，也仅仅损失了 5.2%-5.8% 的性能，同时观察到了视觉和文字输入之间的互补行为。

Nov, 2023

本综述探讨了最近新兴的计算机视觉领域中的视频问答任务，重点回顾了一些方法和数据集，并指出此任务以前没有进行过综述。

Jan, 2021

本研究提出了一种新颖的视频理解任务方法，将基于知识的问题回答融合进来，提出了一个关于情景喜剧的视频数据集 (包括 24,282 个由人类生成的问题 - 答案对)，该数据集融合了视觉、文本和时间的连贯思维，同时也需要观看该系列影片的体验知识才能回答基于知识的问题。其次，本文提出了一种能够将视觉和文本视频内容与与剧集相关的具体知识相结合的视频理解模型。主要发现是：（i）融入知识可在视频问答方面产生卓越的改进；（ii）关于现有视频建模的局限性，表明 “KnowIT VQA” 仍远远落后于人类的准确度，因此具有较高的研究价值。

Oct, 2019

本文提出了 TinyVQA，一种用于资源受限的小型机器学习硬件上运行的视觉问答任务的新型多模态深度神经网络。通过使用监督式注意力模型来学习如何使用视觉和语言模态回答图像相关问题，TinyVQA 在 FloodNet 数据集上取得了 79.5％的准确率，同时在嵌入式系统上部署具有低延迟和低功耗。

Apr, 2024

本研究引入了 FunQA 挑战性视频问题回答数据集，它是专门设计的，以评估和增强基于反直觉和有趣视频的视频推理深度，涵盖幽默类，创意类和魔术类，总共包括 312K 自由文本 QA 对以及 4.3K 视频剪辑，跨越 24 小时总计。

Jun, 2023

本文针对 VideoQA 展开研究，提出了一个明确的分类学和全面的分析方法，并指出未来探索的几个有前途的方向。

Mar, 2022

视频分类中，通过研究视频的压缩比特流来代替传统方法中涉及视频解压缩的特征提取，以提高分类性能和处理速度。通过验证自定义数据集，结果表明该方法在精度、准确率和召回率方面都超过 80%，而且处理速度是真实时间的 15000 倍，比传统的动态时间规整算法效果好六个数量级。

Sep, 2023

通过使用剪枝驱动的模型压缩和多层级知识蒸馏的两阶段工作流程，我们成功地显著减小了排名型深度视频质量评估方法 RankDVQA 的模型大小和运行时间，得到了一个轻量级的质量度量指标 RankDVQA-mini，其参数量不到原始版本的 10%（FLOPs 为原版本的 14%），但在质量预测性能上超过了大部分现有的深度视频质量评估方法。

Dec, 2023

我们的研究专注于自我中心视频问答，提出了增强技术以解决过拟合问题，实验结果在 EgoVQA 数据集上比基准结果提高了 5.5% 的准确率。

Aug, 2020