CVPRMay, 2022

从表示到推理：面向视频问答的证据与常识推理

PDF
TL;DR为了深化视频理解，包含描述、证据推理和常识推理等四类问题，我们提出了因果 - 视频问答任务及两步解决方案，发现最新 VideoQA 方法在描述方面表现强而在推理方面表现弱，希望 Causal-VidQA 能够引导视频理解研究从表示学习向深度推理发展。
发现论文，激发创造
  • 因果推理遇见视觉表征学习：一项前瞻性研究

    本文综述了现有的因果推理方法在视觉表征学习中的应用，探讨了当前方法和数据集的限制，并提出了因果推理算法基准的前景挑战、机会和未来研究方向，以更有效地实现可靠的视觉表征学习及相关应用。

    Apr, 2022

  • Video2Commonsense: 生成通识描述以丰富视频字幕

    通过生成视频常识描述（包括解释动机、影响和描述人物特点）的方法，结合开放式视频常识问答，可以提升通过字幕来理解视频的能力。

    Mar, 2020

  • 从识别到认知：视觉常识推理

    该研究论文旨在推进计算机视觉模型的视觉常识推理能力。研究者针对这一目标，提出一项包含 290k 多选题的新数据集 VCR，并使用基于对抗匹配的方法进行添加问题。通过引入新的推理引擎 - Recognition to Cognition 网络（R2C），该文章对计算机视觉模型的性能进行了分析，并提出未来研究的方向。

    Nov, 2018

  • 透过两层认知的因果推理，提高视觉问答中的泛化能力

    利用认知路径的 VQA（CopVQA）通过强调因果推理因素来改善多模态预测，从而支持 VQA 中的概括推理。

    Oct, 2023

  • 跨模态事件相关的视频问答中的推理

    通过引入密集描述模态作为辅助信息，提出了一种新颖的端到端可训练模型，Event-Correlated Graph Neural Networks（EC-GNNs），以从三种模态（描述、视频和问题）中执行跨模态推理，并通过多步推理收集问题导向和事件相关证据。

    Dec, 2023

  • 基于因果推理的图像内容生成

    ChatGPT 的出现再次引发了人工智能生成的研究，而此次研究聚焦于 ChatGPT 在语言生成领域的因果推理能力，提出了一种称为 Visual Question Answering with Image（VQAI）的图像生成任务，并基于经典的 Tom and Jerry 动画系列建立了相应的数据集，同时开发了一种应对此任务挑战的新的图像生成范式，并通过广泛的实验和分析来探讨这一方法的潜力和局限性。

    Dec, 2023

  • 基于粗到细的视觉问答推理

    本文提出了一种新的推理框架来填补 VQA 任务中视觉特征和语义线索之间的语义鸿沟，实现了特征和谓词的有效联合学习，并在三个大规模数据集上实现了其他最先进方法无法比拟的准确度，同时还提供了一种可解释的方式来理解深度神经网络在预测答案时的决策。

    Oct, 2021

  • 基于知识路线的视觉问答推理：深度表示嵌入的挑战

    提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

    Dec, 2020

  • 视频问答的视觉因果场景细化

    本文提出一种名为 VCSR 的跨模态因果关系推理框架，通过因果分析发现视频中关键的因果事件，解决了现有视频问答方法在识别视觉证据和问题方面的失败。实验表明，该方法在视频问答中表现出卓越的性能。

    May, 2023

  • 面向事件级别视频问答的语义感知动态回顾 - 预测推理

    本文提出了一种语义感知的动态回顾 - 前瞻推理方法，用于视频问答，通过使用问题的语义角色标注（SRL）结构，实现了基于语义连接的复杂推理，在 TrafficQA 数据集上实验结果显示，相较于之前的最先进模型，该方法实现了卓越的性能提升。

    May, 2023