从 RGB-D 视频中学习基于粒子的 3D 模拟器

Dec, 2023

从 RGB-D 视频中学习基于粒子的 3D 模拟器

Learning 3D Particle-based Simulators from RGB-D Videos

William F. Whitney, Tatiana Lopez-Guevara, Tobias Pfaff, Yulia Rubanova, Thomas Kipf...

TL;DR通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

Abstract

realistic simulation is critical for applications ranging from robotics to animation. Traditional analytic simulators sometimes struggle to capture sufficiently realistic simulation which can lead to problems inc

realistic simulation learned simulators sim-to-real gap visual particle dynamics end-to-end learning

发现论文，激发创造

用高密度视觉粒子动力学模拟现实世界

通过处理包含 10 万 + 粒子的大规模潜在点云，我们提出了一个学习的世界模型 —— 高密度视觉粒子动力学（HD-VPD），它可以模拟真实场景的物理动力学。为了在这一规模上实现高效率，我们引入了一种新颖的点云变换器（PCTs）家族，称为 Interlacer，利用交织的线性注意力 Performer 层和基于图的邻居注意力层。相比之前的图神经网络方法，我们的 Interlacer 动力学速度是原来的两倍，预测质量相同，并且使用 4 倍的粒子可以实现更高的质量。我们展示了 HD-VPD 在建模具有高自由度的双手机器人与两个 RGB-D 相机的动力学方面的能力。我们演示了 HD-VPD 如何通过机器人推箱和抓取任务来评估运动计划的质量。请在此 https URL 上观看通过 HD-VPD 渲染的视频和粒子动力学。

Jun, 2024

从 RGBD 视频推断关节刚体动力学

本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

Mar, 2022

学习粒子动力学，用于操作刚体、可变形物体和流体

本文提出了一种基于粒子的学习模拟器来解决复杂控制问题，同时在模拟跨物质的复杂场景方面具有很好的表现，使得机器人能够完成复杂的操控任务，如操纵流体和可形变泡沫，利用在仿真及现实中的实验结果显示了该方法的可行性。

Oct, 2018

从视频和语言中学习可微分物理模型进行动态可视化推理

本文提出了一种名为 VRDP 的统一框架，可以从视频和语言中联合学习视觉概念，并推断对象及其交互的物理模型，通过无缝集成三个组成部分：视觉理解模块、概念学习器和可微分的物理引擎。

Oct, 2021

学习涡动力学进行流体推理和预测

提出一种新的可微旋涡质点方法，以从单个视频中推断和预测流体动力学，通过学习可变换的旋涡到速度动态映射将复杂的流体特征有效捕获在物理约束的低维空间中，并建立一个适合输入视频的流体模拟器来提供稳健，长期的未来预测。

Jan, 2023

T3VIP: 基于变换的三维视频预测

为了实现机器人的自主技能获取，本文提出了一种基于转化的 3D 视频预测（T3VIP）方法，通过将场景分解为其对象部件并预测其相应的刚性变换，从自身的过去经验中明确地模拟 3D 运动，预测未来的可行结果，并具备自适应超参数优化技术，是首个提供固定摄像头的 RGB-D 视频预测的生成模型。

Sep, 2022

基于物理模型的刚体目标跟踪与 RGB-D 视频摩擦滤波

提出了一种从 RGB-D 图像中跟踪三维刚体物体并推断物体物理属性的新颖方法，借助可微分物理仿真作为状态转移模型，利用扩展卡尔曼滤波器模型接触和摩擦来估计真实的运动轨迹和摩擦系数，在合成图像序列和真实世界数据集上得到了验证和评估。

Sep, 2023

利用半参数学习单个 RGBD 相机对人体进行体积捕捉

提出使用一台 RGBD 相机综合已获取的图像数据生成自由视角视频的方法。该方法通过半参数模型结合深度神经网络的技术实现 4D 表演捕捉，从而为 AR / VR 内容生成提供高逼真度的渲染效果。

May, 2019

VDG：基于视觉的动态高斯驾驶仿真

将自我监督视觉里程计（VO）集成到动态高斯方法（VDG）中，从而提升了定位和深度初始化以及静态 - 动态分解，VDG 可以只使用 RGB 图像输入，在更快的速度和更大的场景下构建动态场景，并在大量定量与定性实验中展示了对于现有动态视图合成方法的优越性能。

Jun, 2024

DreamPhysics: 学习具有视频扩散先验的动态 3D 高斯分布的物理特性

3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。

Jun, 2024