Sep, 2020

使用可微分物理学从视频中学习识别物理参数

PDF
TL;DR本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。
video representationdeep learningphysics enginephysical latent representationsupervised learning
发现论文，激发创造
  • Physics-as-Inverse-Graphics: 从视频中无监督地估计物理参数

    本文提出了一种基于物理 - 逆向图像学的方法，可以从视频中无监督地估算系统的物理参数，实现长期视频预测和基于视觉的模型预测控制，并在交互物体系统的长期未来帧预测中显著优于相关无监督方法，还实现了控制器的可解释性提供了独特的能力在目标驱动控制和物理推理方面的零数据适应。

    May, 2019

  • 通过视频预测进行物理交互的无监督学习

    开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

    May, 2016

  • 面向结构模型视频预测的可解释潜空间

    我们提出了一种物体为中心的模型，使用图神经网络中的对比学习在潜在空间中预测未来的状态，并注入了显式归纳偏置以帮助提高模型的预测准确性。我们的模型不仅可捕捉物体交互作用，而且能够提高物体位置的定位能力，且实验表明我们的模型在多个领域中具有显著的优势。

    Jul, 2021

  • 潜在的直观物理学：从 3D 视频学习隐藏的物理现象传递

    我们介绍了一种基于潜在直觉物理的转移学习框架，可以从单个 3D 视频中推断流体的隐藏属性，并在新场景中模拟观察到的流体。

    Jun, 2024

  • 从视频中提取动态系统的控制规律和源输入

    本文介绍了一种端到端的无监督深度学习框架，基于录制的视频可以揭示物体运动的明确控制方程，在物理坐标系中建立其物理规律，并通过数值积分器和稀疏回归模块，同时解决了文献中尚无现有方法适用的问题，并成功地应用于几个动态系统的记录。

    May, 2022

  • Physion++：对需要在线推理不同物理属性的物理场景理解进行评估

    提出了一种名为 Physion++ 的数据集和评测基准，旨在严格评估视觉物理预测在人工系统中的表现，其中预测依赖于对场景中物体的潜在物理属性的准确估计，结果发现，所有现有的先进模型都没有像人类一样学习进行物理预测。

    Jun, 2023

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 符号回归：从失真视频中发现物理定律

    提出了一种用于无监督学习运动方程的方法，包括用 Pareto 最优符号回归找出描述运动的微分方程，以及使用主成分分析从潜在空间中移除额外的维度，从而重新发现未标记移动对象的笛卡尔坐标。

    May, 2020

  • 从视频和语言中学习可微分物理模型进行动态可视化推理

    本文提出了一种名为 VRDP 的统一框架，可以从视频和语言中联合学习视觉概念，并推断对象及其交互的物理模型，通过无缝集成三个组成部分：视觉理解模块、概念学习器和可微分的物理引擎。

    Oct, 2021

  • DreamPhysics: 学习具有视频扩散先验的动态 3D 高斯分布的物理特性

    3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。

    Jun, 2024