本文提出了一种统一框架 - 动态概念学习者（DCL）用于从视频及自然语言文本中，对物理对象和事件进行建模，其中 DCL 采用轨迹提取器来追踪每个物体随时间的变化并将其表示为一种潜在目标中心的特征向量，并进一步将物体集成到图形网络中学习物体之间的动态交互关系，最终通过语义分析器解析问题并执行执行器来回答问题，该方法在 CLEVRER 数据集上实现了 state-of-the-art 的表现。

Mar, 2021

通过 CounterCurate 框架，综合改善对比式和生成式多模态模型的视觉 - 语言组合推理能力，通过解决忽视物理基础推理（计数和位置理解）和使用高能力文本和图像生成模型进行语义反事实微调的潜力等两个问题来提高推理性能。

Feb, 2024

研究提出了一个新的问题，即如何从视觉输入中进行物体力学的反事实学习，并提出了一种用于在反事实情境下学习物理动态的模型。通过学习对初始条件进行干预时对其结果的影响，和对潜在因素的学习，该网络可以捕捉到物理环境的潜在特性，从而具有超越人类表现的预测能力。

Sep, 2019

多模态反事实推理是人工智能系统中重要而具有挑战性的能力，为了克服数据集的限制，研究人员开发了 ACQUIRED 数据集，涵盖了一系列事件类型，综合了物理、社会和时间三个推理维度，可以全面评估模型的反事实能力。与最先进的语言模型和多模态模型相比，实验结果显示存在着显著的性能差距，这表明多模态反事实推理仍然是一个开放挑战，并且 ACQUIRED 是一个全面可靠的基准，可激发未来该方向的研究。

Nov, 2023

通过引入因果推理和反事实分析，我们在音频领域运用反事实实例，结合声音的特征和来源信息，有效提高了开放式基于语言的音频检索任务的准确率超过 43%。

Jan, 2024

研究了在音频与视觉之间进行对应时，出现多个音频轨道时的学习效果，探讨了使用配音版本来增加跨模态对比学习的方法，提出了考虑语音变化时学习场景级别的音频视觉对应关系的重要性，并表明配音可以作为训练音频视觉模型的一种有用增强技术。

Apr, 2023

通过构建音视频共同存在的数据集 PACS，我们首次衡量了人类执行物理力学任务的准确性，并证明了多模态（多感官）推理对于物理常识推理的重要性。

Mar, 2022

本文介绍了一种新的跨模态知识迁移方法，使用组合对比学习来学习复合嵌入，通过学习多模态知识来改善视频表示学习表现。在三个视频数据集上进行的实验表明，该方法显著优于现有的知识蒸馏方法。

Apr, 2021

本文提出了一种灵活的音视频模型，通过软聚类模块作为音频和视频内容检测器，并将音视频并发的普遍属性视为推断检测内容之间相关性的潜在监督，并提出一种新颖的课程学习策略，从简单到复杂的场景训练模型，以缓解音视频学习的困难。同时，本文的音视频模型还可提供有效的单模态表示和跨模态对齐性能，进一步将训练好的模型部署到实际音视频定位和分离任务中，并显示其定位模型明显优于现有方法，基于此，我们在音频分离方面的性能也表现出色，而不需要参考外部视觉监督。

Jan, 2020

为了深化视频理解，包含描述、证据推理和常识推理等四类问题，我们提出了因果 - 视频问答任务及两步解决方案，发现最新 VideoQA 方法在描述方面表现强而在推理方面表现弱，希望 Causal-VidQA 能够引导视频理解研究从表示学习向深度推理发展。

May, 2022