ICLRApr, 2021

gradSim: 用于系统辨识与视觉模式控制的可微分模拟

PDF
TL;DR本文提出 gradSim 框架，通过可微分的多物理模拟和可微分的渲染来联合模拟场景动态和图像生成的演化，从而将像素级反向传播到生成它们的基础物理属性，以实现对物体质量、摩擦力和弹性等物理属性的直接估计。该框架克服了 3D 监督的依赖，并在具有挑战性的视觉运动控制任务中获得了具有竞争力甚至比依赖于精确的 3D 标签的技术更好的性能。
object's physical propertiessystem identification3d supervisiondifferentiable multiphysics simulationvisuomotor control
发现论文，激发创造
  • 从全局角度重新审视可微分仿真优化

    本文研究了 differentiable simulation 在含有刚体和可变形物体的情景下所面临的挑战，提出了一种使用贝叶斯优化和半局部 “跳跃” 的方法来获得全局搜索方法的方案，并在模拟实验和实际机器人实验中验证了该方法的有效性。

    Jun, 2022

  • 基于物理的可导深度传感器模拟

    本论文提出了一种基于可微仿真管道和方块匹配算法的端到端可微深度图像生成模型，可以用于各种深度感知的任务，如分类、姿态估计和语义分割，可比之前使用的静态仿真和学习方法提高模型性能，赋予所生成图像更高的真实感。

    Mar, 2021

  • Physics-as-Inverse-Graphics: 从视频中无监督地估计物理参数

    本文提出了一种基于物理 - 逆向图像学的方法，可以从视频中无监督地估算系统的物理参数，实现长期视频预测和基于视觉的模型预测控制，并在交互物体系统的长期未来帧预测中显著优于相关无监督方法，还实现了控制器的可解释性提供了独特的能力在目标驱动控制和物理推理方面的零数据适应。

    May, 2019

  • 使用可微分物理学从视频中学习识别物理参数

    本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

    Sep, 2020

  • DiffSkill: 从可微分物理学中抽象技能用于工具对形变物体的操作

    本研究提出了一个名为 DiffSkill 的新框架，使用可微分的物理模拟器进行技能抽象，从感官观测中解决长期目标可达的可变形物体操作任务。

    Mar, 2022

  • GeoSim: 基于几何感知合成的自动驾驶真实视频模拟

    本文提出了一种基于 GeoSim 的几何感知图像合成过程，通过从其他场景中提取的动态对象进行图像合成从而合成新的城市驾驶场景，该方法能够生成真实的、交通意识的、几何一致的合成图像，适用于复杂的场景规模，并演示了其在长程实际视频模拟和合成数据增强等领域的有用性。

    Jan, 2021

  • 从 RGBD 视频推断关节刚体动力学

    本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

    Mar, 2022

  • 基于物理模型的刚体目标跟踪与 RGB-D 视频摩擦滤波

    提出了一种从 RGB-D 图像中跟踪三维刚体物体并推断物体物理属性的新颖方法，借助可微分物理仿真作为状态转移模型，利用扩展卡尔曼滤波器模型接触和摩擦来估计真实的运动轨迹和摩擦系数，在合成图像序列和真实世界数据集上得到了验证和评估。

    Sep, 2023

  • DiffVL: 基于视觉语言驱动的可微物理学扩展软体操控

    利用梯度优化轨迹的方法与可微物理模拟相结合，可以高效地解决软体操纵问题，DiffVL 是一种允许非专家用户通过视觉和自然语言描述软体操纵任务，并将其转化为可由可微物理求解器应用的优化目标的方法。

    Dec, 2023

  • 从 RGB-D 视频中学习基于粒子的 3D 模拟器

    通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

    Dec, 2023