Oct, 2021

从视频和语言中学习可微分物理模型进行动态可视化推理

PDF
TL;DR本文提出了一种名为 VRDP 的统一框架，可以从视频和语言中联合学习视觉概念，并推断对象及其交互的物理模型，通过无缝集成三个组成部分：视觉理解模块、概念学习器和可微分的物理引擎。
visual reasoningdifferentiable physicsobject-centric trajectoriesconcept learnerrigid-body simulator
发现论文，激发创造
  • 学习物理模型的视觉定位

    该论文提出了一种神经模型，同时基于物理学原理和视觉先验进行推理和预测，通过对粒子的估计预测物理参数，即视觉基础，并在刚体、可变形材料和流体的复杂环境中证明了它的有效性，允许模型在几次观察内推断出物理特性，从而快速适应未见过的场景并进行准确的未来预测。

    Apr, 2020

  • 3D-IntPhys：挑战场景下更加通用的三维视觉直观物理学

    本论文提出了一种通过学习多视角 RGB 图像预测场景未来发展的 3D 模型的框架，并使用条件神经辐射场视觉前端和 3D 基点动态预测后端来捕获底层环境的结构以及强关系和结构归纳偏差，相较于先前的方法，我们的模型对准确的点估计和跟踪不再具有依赖性，可以应对较复杂的场景，并在长时间预测方面表现较好。

    Apr, 2023

  • 从 RGB-D 视频中学习基于粒子的 3D 模拟器

    通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

    Dec, 2023

  • 使用可微分物理学从视频中学习识别物理参数

    本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

    Sep, 2020

  • 利用具有动态感知能力的模型进行物理推理

    通过自我监督的信号增强奖励价值，将模型训练出了刻画两个物理场景间相似度的能力，从而在 PHYRE 基准测试中显著提升了表现。

    Feb, 2021

  • DiffVL: 基于视觉语言驱动的可微物理学扩展软体操控

    利用梯度优化轨迹的方法与可微物理模拟相结合，可以高效地解决软体操纵问题，DiffVL 是一种允许非专家用户通过视觉和自然语言描述软体操纵任务，并将其转化为可由可微物理求解器应用的优化目标的方法。

    Dec, 2023

  • 基于物理先验的组合式 4D 动态场景理解与视频问答

    该研究提出了一个基于视频的问答数据集 SuperCLEVR-Physics，专注于对象的动力学特性，通过显式的 4D 场景表示和神经符号推理，展示了 NS-4Dynamics 在理解动力学属性以及未来预测和反事实推理方面的效果，该模型在重建 4D 场景并重新模拟未来或反事实事件方面表现良好。

    Jun, 2024

  • 通过动态视觉推理理解对象和事件的物理概念

    本文提出了一种统一框架 - 动态概念学习者（DCL）用于从视频及自然语言文本中，对物理对象和事件进行建模，其中 DCL 采用轨迹提取器来追踪每个物体随时间的变化并将其表示为一种潜在目标中心的特征向量，并进一步将物体集成到图形网络中学习物体之间的动态交互关系，最终通过语义分析器解析问题并执行执行器来回答问题，该方法在 CLEVRER 数据集上实现了 state-of-the-art 的表现。

    Mar, 2021

  • PhysDreamer: 基于物理的通过视频生成与 3D 物体交互

    通过基于物理原理的方法，我们提出了 PhysDreamer，它能够使静态的 3D 对象能够以虚拟实境中真实的方式动态地响应交互刺激，实现了更加引人入胜和逼真的虚拟体验。

    Apr, 2024

  • 学习可微分逻辑程序以进行抽象视觉推理

    提出了基于神经 - 符号融合的可微转移学习推理机制，命名为 NEUMANN，并通过推理识别复杂的可视化场景，包括因果推理和抽象概念推理。

    Jul, 2023