May, 2019

Physics-as-Inverse-Graphics: 从视频中无监督地估计物理参数

PDF
TL;DR本文提出了一种基于物理 - 逆向图像学的方法，可以从视频中无监督地估算系统的物理参数，实现长期视频预测和基于视觉的模型预测控制，并在交互物体系统的长期未来帧预测中显著优于相关无监督方法，还实现了控制器的可解释性提供了独特的能力在目标驱动控制和物理推理方面的零数据适应。
unsupervised physical parameter estimationphysics-as-inverse-graphics approachlong term extrapolative video predictionvision-based model-predictive controlmodel-based control for a pendulum system
发现论文，激发创造
  • 使用可微分物理学从视频中学习识别物理参数

    本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

    Sep, 2020

  • 从视频中提取动态系统的控制规律和源输入

    本文介绍了一种端到端的无监督深度学习框架，基于录制的视频可以揭示物体运动的明确控制方程，在物理坐标系中建立其物理规律，并通过数值积分器和稀疏回归模块，同时解决了文献中尚无现有方法适用的问题，并成功地应用于几个动态系统的记录。

    May, 2022

  • 符号回归：从失真视频中发现物理定律

    提出了一种用于无监督学习运动方程的方法，包括用 Pareto 最优符号回归找出描述运动的微分方程，以及使用主成分分析从潜在空间中移除额外的维度，从而重新发现未标记移动对象的笛卡尔坐标。

    May, 2020

  • 通过观察视觉场景理解物理方程

    该论文介绍了一种新的算法，利用由 Observer Engine 和 Physicist Engine 组成的流程来从视频中推断出物理规律和数学公式，实验结果表明该算法能够有效地应用在不同的物理世界中。

    Nov, 2018

  • 潜在的直观物理学：从 3D 视频学习隐藏的物理现象传递

    我们介绍了一种基于潜在直觉物理的转移学习框架，可以从单个 3D 视频中推断流体的隐藏属性，并在新场景中模拟观察到的流体。

    Jun, 2024

  • 通过视频预测进行物理交互的无监督学习

    开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

    May, 2016

  • 物体中心视觉预测的物理动态学习

    本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

    Mar, 2024

  • 学习物理模型的视觉定位

    该论文提出了一种神经模型，同时基于物理学原理和视觉先验进行推理和预测，通过对粒子的估计预测物理参数，即视觉基础，并在刚体、可变形材料和流体的复杂环境中证明了它的有效性，允许模型在几次观察内推断出物理特性，从而快速适应未见过的场景并进行准确的未来预测。

    Apr, 2020

  • 从视频中无监督地发现 3D 物理对象

    本文研究了无监督的物体发现问题。引入了 POD-Net 模型，通过物理学原理，从视频中精确提取出各个物体的 3D 几何和位置，同时推断物体的属性，从而可以用于推断物理事件。

    Jul, 2020

  • Physion++：对需要在线推理不同物理属性的物理场景理解进行评估

    提出了一种名为 Physion++ 的数据集和评测基准，旨在严格评估视觉物理预测在人工系统中的表现，其中预测依赖于对场景中物体的潜在物理属性的准确估计，结果发现，所有现有的先进模型都没有像人类一样学习进行物理预测。

    Jun, 2023