Feb, 2024

ContPhy: 从视频中学习和推理连续物理概念

TL;DR我们引入了连续物理数据集(ContPhy),这是一个用于评估机器物理常识的新型基准。通过涵盖不同场景中的多样化物理属性推理以及对应的动力学预测,ContPhy 补充了现有的物理推理基准。我们评估了一系列 AI 模型,并发现它们在 ContPhy 上仍然难以达到令人满意的性能,这表明当前的 AI 模型在连续物体方面仍然缺乏物理常识,尤其是软体,并证明了该数据集的价值。我们还引入了一种基于粒子的物理动力学模型与最近的大型语言模型相结合的神谕模型(ContPRO),该模型结合了两种模型的优势,即精确的动力学预测和可解释的推理。ContPhy 旨在促进在不同物理场景中的感知和推理的进步,缩小人类和机器智能在理解物理世界方面的差距。项目页面:这个 https URL