通过引入 PhyBench 评估数据集，我们评估了 6 个主要的 T2I 模型，发现当前的 T2I 模型主要关注文本到图像翻译，缺乏对物理常识的深入推理；我们提倡对 T2I 模型内在知识的更多关注，超越它们仅仅作为图像生成工具的实用性。

Jun, 2024

我们引入了连续物理数据集（ContPhy），这是一个用于评估机器物理常识的新型基准。通过涵盖不同场景中的多样化物理属性推理以及对应的动力学预测，ContPhy 补充了现有的物理推理基准。我们评估了一系列 AI 模型，并发现它们在 ContPhy 上仍然难以达到令人满意的性能，这表明当前的 AI 模型在连续物体方面仍然缺乏物理常识，尤其是软体，并证明了该数据集的价值。我们还引入了一种基于粒子的物理动力学模型与最近的大型语言模型相结合的神谕模型（ContPRO），该模型结合了两种模型的优势，即精确的动力学预测和可解释的推理。ContPhy 旨在促进在不同物理场景中的感知和推理的进步，缩小人类和机器智能在理解物理世界方面的差距。项目页面：这个 https URL

Feb, 2024

通过生成视频常识描述（包括解释动机、影响和描述人物特点）的方法，结合开放式视频常识问答，可以提升通过字幕来理解视频的能力。

Mar, 2020

本文介绍了一种基于自主数据生成技术以及提供高分辨率的 3D 物理模拟和物质和其描述的文本描述的数据集，旨在推动基于文本的视频 / 模拟实现高水平的物理真实感。

Nov, 2022

本文介绍 ComPhy 数据集，该数据集含有一些移动和交互对象的视频，用于评估模型是否能够理解隐藏的物理性质，实验结果表明，一些当前先进的视频推理模型无法捕捉这些隐藏的属性。此外，本文进一步提出了一种名为 Compositional Physics Learner（CPL）的神经符号框架，该框架将视觉感知、物理特性学习、动态预测和符号执行结合成一个统一的框架，以识别对象的物理特性并预测它们的动态以回答问题。

May, 2022

通过视频生成模型，利用视频数据解决现实世界中的任务是一个被低估的机会，可以在机器人、自动驾驶和科学等领域产生重大影响，但需要解决视频生成中的关键挑战。

Feb, 2024

通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

Sep, 2021

本文提出了一种基于过程生成、物理模型和现代游戏引擎组件的人体运动视频生成方法，它可以生成一个包含 39,982 个视频的数据集，其中包括 35 个不同的动作类别。通过结合小的真实数据集，我们的方法可以显著提高视频行为识别性能，即使这些数据集的动作类别不同。

Oct, 2019

我们提出了一个生成模型，根据粗略编辑的图片合成一个遵循预定布局的逼真输出，并从原始图像中转移细节，同时保留其部分的身份信息，并将其调整到由新布局定义的光照和上下文。

Mar, 2024

对于图像和语言生成模型的视觉和语言生成模型，我们提出了一种新的框架和流程来彻底评估生成视频的性能，并通过系数对齐目标度量与用户意见，以获得模型的最终排行榜。

Oct, 2023