Physion++：对需要在线推理不同物理属性的物理场景理解进行评估

Jun, 2023

Physion++：对需要在线推理不同物理属性的物理场景理解进行评估

Physion++: Evaluating Physical Scene Understanding that Requires Online Inference of Different Physical Properties

Hsiao-Yu Tung, Mingyu Ding, Zhenfang Chen, Daniel Bear, Chuang Gan...

TL;DR提出了一种名为 Physion++ 的数据集和评测基准，旨在严格评估视觉物理预测在人工系统中的表现，其中预测依赖于对场景中物体的潜在物理属性的准确估计，结果发现，所有现有的先进模型都没有像人类一样学习进行物理预测。

Abstract

General physical scene understanding requires more than simply localizing and recognizing objects -- it requires knowledge that objects can have different latent properties (e.g., mass or elasticity), and that those properties affect the outcome of physical events. While there has been

physical scene understanding physical properties visual physical prediction dataset state-of-the-art prediction models

发现论文，激发创造

Physion：人类与机器在视觉中的身体动作预测评估

本文介绍了 Physion 这一用于评估视觉算法理解真实世界物理动态能力的数据集和基准测试，通过对一系列模型的基准测试发现，生成对象中心表征的视觉算法通常优于未生成该表征的算法，但仍远远落后于人类的表现。我们公开发布了所有数据和代码，以便全面重现这一基准测试，并能够系统地评估视觉算法理解物理环境的进展。

Jun, 2021

使用可微分物理学从视频中学习识别物理参数

本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

Sep, 2020

利用感知 - 预测网络无监督学习潜在物理属性

提出了一种框架，用于完全无监督地学习潜在的物体属性：感知 - 预测网络 (PPN)，该网络由感知模块和预测模块组成，可以纯粹从物体动态的样本中进行端到端的训练，学习的潜在物体属性可以被直接翻译成人类可解释的属性，此模型在物体中心推理和预测任务中具有很高的效能，且具有发现未被充分解释的系统中的相关对象属性的潜力

Jul, 2018

IntPhys: 视觉直觉物理推理的框架和基准

本论文提出了一项基于视觉任务的评估基准，以测试人工系统对于宏观物体、运动、力等物理理解的程度，同时介绍了两个旨在以无监督的方式学习直观物理的深度神经网络系统，并通过与人类数据的比较，对下一帧预测建筑的潜力和限制进行了新颖的结果分析。

Mar, 2018

物体中心视觉预测的物理动态学习

本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

Mar, 2024

学习物理模型的视觉定位

该论文提出了一种神经模型，同时基于物理学原理和视觉先验进行推理和预测，通过对粒子的估计预测物理参数，即视觉基础，并在刚体、可变形材料和流体的复杂环境中证明了它的有效性，允许模型在几次观察内推断出物理特性，从而快速适应未见过的场景并进行准确的未来预测。

Apr, 2020

基于物体中心预测模型的内在物理概念发现

本文介绍了一个无需监督训练的系统 PHYsical Concepts Inference NEtwork (PHYCINE)，该系统可以发现和表示物理概念，包括物质和电荷，并且使用这些变量来获得比仅使用可见对象特征更好的因果推理性能。

Mar, 2023

Physics-as-Inverse-Graphics: 从视频中无监督地估计物理参数

本文提出了一种基于物理 - 逆向图像学的方法，可以从视频中无监督地估算系统的物理参数，实现长期视频预测和基于视觉的模型预测控制，并在交互物体系统的长期未来帧预测中显著优于相关无监督方法，还实现了控制器的可解释性提供了独特的能力在目标驱动控制和物理推理方面的零数据适应。

May, 2019

基于面向对象预测和规划的物理交互推理

本研究提出了一种无需直接监督对象属性即可实现学习物理场景的物体中心表征的方法，我们的模型通过联合学习感知函数，物理交互函数和渲染函数，可以精确地预测物理变化并具有可操作性的直观物理表现。

Dec, 2018

基于语言嵌入特征场的物性理解

计算机通过视觉能否感知物体的物理属性？我们提出了一种利用图像集合对物体的物理属性进行密集预测的新方法，通过借鉴人类如何通过视觉进行物理推理的方式，利用大型语言模型为每个物体提出候选材料，然后构建一个嵌入语言的点云，并利用零样本核回归方法估计每个三维点的物理属性，我们的方法准确、无需注释，并适用于开放世界中的任何对象。实验证明了该方法在各种物理属性推理任务中的有效性，如估计常见物体的质量以及摩擦和硬度等其他属性。

Apr, 2024