ICLRApr, 2019

反弹与学习：使用真实反弹建模场景动态

PDF
TL;DR通过学习从传感器输入到预测反弹轨迹并推断控制反弹的两个基本物理参数的模型，我们在传统场景中引入了一种模拟表面特性的方法，并提出了一个名为 Bounce and Learn 的模型，该模型由物理推理模块（PIM）和视觉推理模块（VIM）组成。通过在 “跳动数据集” 上的测试，得出该模型在预测反弹轨迹和推测场景物理属性方面优于传统方法和其他基线模型等结论。
发现论文，激发创造
  • 利用神经重新模拟生成单张图像中的反弹

    本文提出了一种使用神经网络生成虚拟物体与静止图像环境真实交互的视频的方法，该网络能够通过学习来纠正物理模拟的不完整和不准确信息，称之为神经再仿真过程，实验结果显示该方法可以在合成场景和现实图片中取得显著提高。

    Aug, 2019

  • 从 RGB-D 视频中学习基于粒子的 3D 模拟器

    通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

    Dec, 2023

  • 理解物体动态：交互式图像到视频合成

    本文介绍了一种使用局部操纵来学习自然外观的全局关节，训练只需要移动物体的视频，而不需要了解物理场景底层的操纵。通过学习物体动力学的生成模型，响应用户互动，并了解相互关联的不同物体部位，该方法预测了静态图像和像素局部操纵后物体弯曲的时间变化，并实现了变形的局部交互控制，可针对不同类型的物体进行转移。与现有的视频预测相比，我们的模型不合成任意逼真的视频，而是提供对变形的局部交互控制。通过对不同物体的广泛实验，证明了我们的方法相比于常见的视频预测框架的有效性。

    Jun, 2021

  • 基于物理先验的组合式 4D 动态场景理解与视频问答

    该研究提出了一个基于视频的问答数据集 SuperCLEVR-Physics，专注于对象的动力学特性，通过显式的 4D 场景表示和神经符号推理，展示了 NS-4Dynamics 在理解动力学属性以及未来预测和反事实推理方面的效果，该模型在重建 4D 场景并重新模拟未来或反事实事件方面表现良好。

    Jun, 2024

  • 学习感知模型

    本文考虑了一个代理与未知和不确定的外部世界交互的情况，我们展示了预测了代理身体固有信息的模型会代表外部世界的对象，并通过积极预测身体信号来学习动态模型的过程具有优异的控制性能，此外还展示了使用相同模型可以回答关于真实世界中对象属性的问题。

    Apr, 2018

  • Physion++：对需要在线推理不同物理属性的物理场景理解进行评估

    提出了一种名为 Physion++ 的数据集和评测基准，旨在严格评估视觉物理预测在人工系统中的表现，其中预测依赖于对场景中物体的潜在物理属性的准确估计，结果发现，所有现有的先进模型都没有像人类一样学习进行物理预测。

    Jun, 2023

  • 学习物理模型的视觉定位

    该论文提出了一种神经模型，同时基于物理学原理和视觉先验进行推理和预测，通过对粒子的估计预测物理参数，即视觉基础，并在刚体、可变形材料和流体的复杂环境中证明了它的有效性，允许模型在几次观察内推断出物理特性，从而快速适应未见过的场景并进行准确的未来预测。

    Apr, 2020

  • 从 RGBD 视频推断关节刚体动力学

    本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

    Mar, 2022

  • 物体中心视觉预测的物理动态学习

    本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

    Mar, 2024

  • 学习视觉预测物理模型以打台球

    本文中，我们探讨了一种方法，能够让智能体装备内部的世界动态模型，并通过运行多个内部仿真（“视觉想象”）来规划新型动作。我们的模型直接处理原始视觉输入，并使用基于目标中心的视觉快照（聚焦）的新颖物体中心预测公式来强制学习物理定律的平移不变性。我们的智能体可以通过随机与不同环境的集合进行交互来收集训练数据，然后可以使用所得到的模型在未见过的环境中规划目标导向的行动。我们展示了我们的智能体可以准确地规划模拟台球游戏中的行动，该游戏需要将球推向目标位置或使其与其他球碰撞。

    Nov, 2015