本研究提出一种视频故事问答架构，名为 Multimodal Dual Attention Memory （MDAM）。使用双重注意机制，结合自我注意力和注意力机制在场景帧和字幕中学习潜在的概念，并在双重注意力处理后执行多模态融合，从而学习从整个视频内容的抽象中推断出高级视觉语言联合表示。在 PororoQA 和 MovieQA 数据集上，该模型均取得了新的最优结果，并通过消融研究验证了双重注意机制与后期融合的最佳性能。

Sep, 2018

提出了一种 Ada-DQA 框架，通过利用多样的预训练模型来捕获所生成的与质量相关的特征，以及使用有标签的质量分数和学习的质量表示作为辅助监督信息，以引导相对较轻的 VQA 模型的训练，从而在知识蒸馏的方式下大大减少推理期间的计算成本。

Aug, 2023

本文提出了一种新的端到端可训练的视频问答（VideoQA）框架，包含三个主要组成部分：新的异构内存、重设计的问题内存和新的多模式融合层，其通过自我更新的注意力实现多步推理并关注相关的视觉和文本线索来推断正确答案，实验结果表明该方法在四个 VideoQA 基准数据集上实现了最先进的性能。

Apr, 2019

本文介绍了一种基于元学习和数据检索的视觉问答方法，该方法不需要训练数据，能够使用外部数据来源来回答各种问题，实验表明该方法在 VQA-CP v2 基准测试中表现优异，并且对于迁移学习领域具有更强的稳健性。

Apr, 2019

通过引入 Tem-Adapter，结合视觉时间对齐器和文本语义对齐器，利用图像预训练的知识来弥合图像和视频领域之间的差距，以实现学习时间动力学和复杂语义的目的，并通过两个 VideoQA 基准测试验证了该方法的有效性。

Aug, 2023

本文创建了一个大规模的数据集 StreamingQA，以研究半参数问答模型在面对不断更新的知识时如何适应，并发现在适应过程中，参数化模型可以通过更新而不是完全重新训练来避免灾难性遗忘，但是过时的参数化 LMs 会使半参数模型性能下降。

May, 2022

本研究提出 Continual Test-Time Adaptation (CTTA) 任务及 Visual Domain Adapter (ViDA) 实现了对预训练模型的修改，以适应不断变化的目标领域；同时还提出了 Homeostatic Knowledge Allotment (HKA) 策略，通过对各个 ViDA 分配不同等级的知识以适应实际应用中不同领域的变化，并在分类和分割任务等方面实现了最新的表现。

Jun, 2023

通过使用大量卡通视频学习，我们展示了 AI 代理执行视频故事问答的可能性。我们的深度嵌入记忆网络 (DEMN) 模型使用观测数据的潜在嵌入空间重构场景 - 对话视频流中的故事，并将视频故事存储在长期记忆组件中。对于给定的问题，基于 LSTM 的注意力模型使用长期记忆来召回包含关键信息的特定单词的最佳问题 - 故事 - 答案三元组。我们在一个新的儿童卡通视频系列 Pororo 的 QA 数据集上训练了 DEMN，并且实验结果表明 DEMN 在 QA 上优于其他模型，这主要得益于 1）利用潜在嵌入对场景 - 对话组合形式的视频故事进行重构，2）使用了注意力。DEMN 还在 MovieQA 基准测试上实现了最先进的成果。

Jul, 2017

本文提出了一种新颖的 VQA 有监督多模态域自适应方法，通过考虑所有模态在一起以及单独处理每个单独模态来对齐源域和目标域的数据分布，以学习跨不同领域和模态的联合特征嵌入，通过在 VQA 2.0 和 VizWhiz 数据集上进行广泛实验，表明了我们所提出方法在这个具有挑战性的 VQA 域自适应设置中胜过了现有的最先进的方法。

Nov, 2019

本文提出了一种可扩展的视频问答技术，利用自动生成的大量候选问题 - 答案对并使用自适应学习方法以处理其中存在的非理想数据，取得了优于基线模型的效果。

Nov, 2016