ICLRDec, 2016

基于对象组合的学习物理动态方法

PDF
TL;DR本文提出了神经物理引擎（NPE），它是一个学习具有直觉物理的模拟器的框架，并自然地推广到可变对象计数和不同场景配置。作者将物理场景分解为可组合的基于对象的表示，并使用神经网络架构对对象动态进行分解。通过与非结构化架构进行比较，作者表明，NPE 对物理交互中的结构表示改善了其预测运动能力，能够在不同场景中进行推广，并推断出物体的潜在属性。
发现论文，激发创造
  • 柔性神经表示用于物理预测

    提出了一种分层粒子物体表示和基于分层图卷积的神经网络 HRN，可以准确预测和生成复杂碰撞和非刚性变形的物理动力学，具有潜在的在计算机视觉、机器人和计算认知科学领域中使用的下一代物理学预测模型的潜力。

    Jun, 2018

  • ComPhy: 从视频中对对象和事件进行组合式物理推理

    本文介绍 ComPhy 数据集，该数据集含有一些移动和交互对象的视频，用于评估模型是否能够理解隐藏的物理性质，实验结果表明，一些当前先进的视频推理模型无法捕捉这些隐藏的属性。此外，本文进一步提出了一种名为 Compositional Physics Learner（CPL）的神经符号框架，该框架将视觉感知、物理特性学习、动态预测和符号执行结合成一个统一的框架，以识别对象的物理特性并预测它们的动态以回答问题。

    May, 2022

  • DensePhysNet: 通过多步动态交互学习密集物理物体表示

    本文提出 DensePhysNet 对于机器人物体操纵的物理表示的学习方法，通过动态交互序列和深度预测模型学习密集的像素表示，可以直接解码物理物体属性，并在下游任务中实现更精确和更有效的操纵。

    Jun, 2019

  • 3D-PhysNet: 学习非刚性对象变形的直观物理

    本文提出了基于 3D-PhysNet 框架的物理建模方法，可以对三维物体在外力作用下的变形进行快速预测，并具有材料属性的泛化性，并且通过深度变分自编码器结合敌对训练的方式进行了材料属性的编码，以及通过级联结构对部分视图下的物体变形进行预测。

    Apr, 2018

  • 学习粒子动力学，用于操作刚体、可变形物体和流体

    本文提出了一种基于粒子的学习模拟器来解决复杂控制问题，同时在模拟跨物质的复杂场景方面具有很好的表现，使得机器人能够完成复杂的操控任务，如操纵流体和可形变泡沫，利用在仿真及现实中的实验结果显示了该方法的可行性。

    Oct, 2018

  • 基于物理先验的组合式 4D 动态场景理解与视频问答

    该研究提出了一个基于视频的问答数据集 SuperCLEVR-Physics，专注于对象的动力学特性，通过显式的 4D 场景表示和神经符号推理，展示了 NS-4Dynamics 在理解动力学属性以及未来预测和反事实推理方面的效果，该模型在重建 4D 场景并重新模拟未来或反事实事件方面表现良好。

    Jun, 2024

  • 利用 Port-Hamiltonian 神经网络进行动态系统模型的组合学习

    介绍了通过组合神经网络来学习交互子系统的复合模型的方法及理论依据，并使用 PHNN 来表示系统及其各个子系统，通过物理信息互连结构组合 PHNN 以预测复合系统的动力学行为。

    Dec, 2022

  • 利用图网络学习模拟复杂物理现象

    本研究提出了一种基于图神经网络的模拟器框架，通过学习信息传递来模拟包括流体、刚性固体和可变形材料在内的各种复杂物理现象，模型从单一粒子预测到测试时的数千个粒子，并且能够处理不同的初始条件和数万个时间步骤，具有较强的可靠性与预测能力。

    Feb, 2020

  • 基于物体中心预测模型的内在物理概念发现

    本文介绍了一个无需监督训练的系统 PHYsical Concepts Inference NEtwork (PHYCINE)，该系统可以发现和表示物理概念，包括物质和电荷，并且使用这些变量来获得比仅使用可见对象特征更好的因果推理性能。

    Mar, 2023

  • 将人脸交互图网络推广至真实场景

    准确模拟真实世界物体动态对于机器人、工程、图形和设计等各种应用至关重要。我们提出了一种减少运行基于图网络的学习模拟器所需内存的方法。基于这种内存高效的模拟模型，我们提供了一种感知界面，以可编辑的 NeRFs 形式将真实世界场景转换为图网络模拟器可以处理的结构化表示。我们展示了我们的方法使用的内存远远少于以前基于图网络的模拟器同时保持其准确性，并且合成环境中学习的模拟器可以应用于从多个摄像机角度捕捉的真实世界场景，从而扩展了学习模拟器在仅在推断时有感知信息的设置中的应用。

    Jan, 2024