通过生成视频常识描述（包括解释动机、影响和描述人物特点）的方法，结合开放式视频常识问答，可以提升通过字幕来理解视频的能力。

Mar, 2020

该论文探讨了图像中的视觉常识如何有助于文本任务，包括填空和视觉改写，并提出基于视觉的场景做为辅助实现对这些问题的回答，该方法表现优于基于文字的方案。

Feb, 2015

本研究通过借鉴自然语言处理中常识知识库 ConceptNet 的方法，系统定义了视觉常识的各种类型，并提出了一种新的任务 - 视觉常识发现（VCD），旨在提取图像中不同对象包含的细粒度常识。通过构建包括超过 10 万张图像和 1400 万个对象 - 常识对的数据集（VCDD），并提出了一种将视觉 - 语言模型与指令调整相结合的生成模型（VCDM），其在 VCD 中表现出色，尤其在隐含常识发现方面优于 GPT-4V。VCD 的价值进一步得到了两个下游任务的应用验证，包括视觉常识评估和视觉问答。数据和代码在 GitHub 上可获得。

Feb, 2024

本文研究了在文本游戏中使用基于视觉数据集得到的常识推理有助于提高游戏 AI 效率的优势，对比了空间关系的统计信息并在常识推理任务中进行验证实验，结果表明该方法优于现有最先进的方法。

Oct, 2022

该研究论文旨在推进计算机视觉模型的视觉常识推理能力。研究者针对这一目标，提出一项包含 290k 多选题的新数据集 VCR，并使用基于对抗匹配的方法进行添加问题。通过引入新的推理引擎 - Recognition to Cognition 网络（R2C），该文章对计算机视觉模型的性能进行了分析，并提出未来研究的方向。

Nov, 2018

通过构建音视频共同存在的数据集 PACS，我们首次衡量了人类执行物理力学任务的准确性，并证明了多模态（多感官）推理对于物理常识推理的重要性。

Mar, 2022

为了深化视频理解，包含描述、证据推理和常识推理等四类问题，我们提出了因果 - 视频问答任务及两步解决方案，发现最新 VideoQA 方法在描述方面表现强而在推理方面表现弱，希望 Causal-VidQA 能够引导视频理解研究从表示学习向深度推理发展。

May, 2022

利用人们的常识推理对深度学习伪造进行检测，并通过 DD-VQA 任务扩展，以建模解释图像真伪的原因，提供了一个包含回答和解释的新数据集，并提出了一种基于视觉和语言的 Transformer 框架，用于解释性和跨模态的应用于深度伪造检测领域。

Jan, 2024

利用外部常识知识库将模型行为与人类知识对齐，并通过多层次可视化和交互式模型探索和编辑，帮助自然语言处理专家在不同场景中对模型的概念关系推理进行系统且可扩展的可视化分析。

Jul, 2023

通过创建一个基准测试集 VideoPhy，我们评估了现有的文本到视频生成模型是否能符合真实世界活动的物理常识，结果显示这些模型缺乏生成符合文字提示和物理规律视频的能力，从而揭示了视频生成模型远未准确模拟物理世界的程度。

Jun, 2024