ICLRMay, 2022

ComPhy: 从视频中对对象和事件进行组合式物理推理

PDF
TL;DR本文介绍 ComPhy 数据集，该数据集含有一些移动和交互对象的视频，用于评估模型是否能够理解隐藏的物理性质，实验结果表明，一些当前先进的视频推理模型无法捕捉这些隐藏的属性。此外，本文进一步提出了一种名为 Compositional Physics Learner（CPL）的神经符号框架，该框架将视觉感知、物理特性学习、动态预测和符号执行结合成一个统一的框架，以识别对象的物理特性并预测它们的动态以回答问题。
发现论文，激发创造
  • ContPhy: 从视频中学习和推理连续物理概念

    我们引入了连续物理数据集（ContPhy），这是一个用于评估机器物理常识的新型基准。通过涵盖不同场景中的多样化物理属性推理以及对应的动力学预测，ContPhy 补充了现有的物理推理基准。我们评估了一系列 AI 模型，并发现它们在 ContPhy 上仍然难以达到令人满意的性能，这表明当前的 AI 模型在连续物体方面仍然缺乏物理常识，尤其是软体，并证明了该数据集的价值。我们还引入了一种基于粒子的物理动力学模型与最近的大型语言模型相结合的神谕模型（ContPRO），该模型结合了两种模型的优势，即精确的动力学预测和可解释的推理。ContPhy 旨在促进在不同物理场景中的感知和推理的进步，缩小人类和机器智能在理解物理世界方面的差距。项目页面：这个 https URL

    Feb, 2024

  • 基于物体中心预测模型的内在物理概念发现

    本文介绍了一个无需监督训练的系统 PHYsical Concepts Inference NEtwork (PHYCINE)，该系统可以发现和表示物理概念，包括物质和电荷，并且使用这些变量来获得比仅使用可见对象特征更好的因果推理性能。

    Mar, 2023

  • VideoPhy: 视频生成中的物理常识评估

    通过创建一个基准测试集 VideoPhy，我们评估了现有的文本到视频生成模型是否能符合真实世界活动的物理常识，结果显示这些模型缺乏生成符合文字提示和物理规律视频的能力，从而揭示了视频生成模型远未准确模拟物理世界的程度。

    Jun, 2024

  • CoPhy: 计算物理动力学的反事实学习

    研究提出了一个新的问题，即如何从视觉输入中进行物体力学的反事实学习，并提出了一种用于在反事实情境下学习物理动态的模型。通过学习对初始条件进行干预时对其结果的影响，和对潜在因素的学习，该网络可以捕捉到物理环境的潜在特性，从而具有超越人类表现的预测能力。

    Sep, 2019

  • Physion++：对需要在线推理不同物理属性的物理场景理解进行评估

    提出了一种名为 Physion++ 的数据集和评测基准，旨在严格评估视觉物理预测在人工系统中的表现，其中预测依赖于对场景中物体的潜在物理属性的准确估计，结果发现，所有现有的先进模型都没有像人类一样学习进行物理预测。

    Jun, 2023

  • PhyPlan：机器人操纵器的组合和自适应物理任务推理基于物理信息的技能网络

    该论文介绍了 PhyPlan，一个物理信息规划框架，它结合了物理信息神经网络（PINNs）和改进的蒙特卡洛树搜索（MCTS），使具有动态物理任务执行能力的代理人能够进行位置规划，并解决包括动态技能组合的三维物理推理任务。

    Feb, 2024

  • 利用具有动态感知能力的模型进行物理推理

    通过自我监督的信号增强奖励价值，将模型训练出了刻画两个物理场景间相似度的能力，从而在 PHYRE 基准测试中显著提升了表现。

    Feb, 2021

  • CRIPP-VQA: 通过视频问答进行关于隐含物理属性的反事实推理

    介绍了 CRIPP-VQA 数据集，该数据集包含具有物理性质的场景中物体运动的视频并配有各种类型的问题，强调了隐含属性问题和明确属性问题的巨大性能差距。

    Nov, 2022

  • 基于对象组合的学习物理动态方法

    本文提出了神经物理引擎（NPE），它是一个学习具有直觉物理的模拟器的框架，并自然地推广到可变对象计数和不同场景配置。作者将物理场景分解为可组合的基于对象的表示，并使用神经网络架构对对象动态进行分解。通过与非结构化架构进行比较，作者表明，NPE 对物理交互中的结构表示改善了其预测运动能力，能够在不同场景中进行推广，并推断出物体的潜在属性。

    Dec, 2016

  • 基于物理先验的组合式 4D 动态场景理解与视频问答

    该研究提出了一个基于视频的问答数据集 SuperCLEVR-Physics，专注于对象的动力学特性，通过显式的 4D 场景表示和神经符号推理，展示了 NS-4Dynamics 在理解动力学属性以及未来预测和反事实推理方面的效果，该模型在重建 4D 场景并重新模拟未来或反事实事件方面表现良好。

    Jun, 2024