ICLROct, 2018

学习粒子动力学，用于操作刚体、可变形物体和流体

PDF
TL;DR本文提出了一种基于粒子的学习模拟器来解决复杂控制问题，同时在模拟跨物质的复杂场景方面具有很好的表现，使得机器人能够完成复杂的操控任务，如操纵流体和可形变泡沫，利用在仿真及现实中的实验结果显示了该方法的可行性。
particle-based simulatorcomplex control tasksrobot learningmanipulating fluidsdeformable foam
发现论文，激发创造
  • 从 RGB-D 视频中学习基于粒子的 3D 模拟器

    通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

    Dec, 2023

  • FluidLab：可微流体环境用于基准测试复杂流体操作

    本文介绍了 FluidLab，一个具有多样的复杂流体动力学操作任务的模拟环境，包括固体和流体之间的相互作用以及多个流体之间的相互作用。该环境使用可微物理模拟器 FluidEngine，在非凸和非平滑流体系统的优化问题中通过物理的可微性展示出可行的解决方案，并通过在真实世界中部署优化后的轨迹来证明合理的模拟到现实的转移。

    Mar, 2023

  • 利用图网络学习模拟复杂物理现象

    本研究提出了一种基于图神经网络的模拟器框架，通过学习信息传递来模拟包括流体、刚性固体和可变形材料在内的各种复杂物理现象，模型从单一粒子预测到测试时的数千个粒子，并且能够处理不同的初始条件和数万个时间步骤，具有较强的可靠性与预测能力。

    Feb, 2020

  • 学习物理知识驱动的软体机器人操作仿真模型：以电致弹性体致动器为例的案例研究

    本研究提出了一种基于不同 iable simulator 的软致动器物理可行模型的训练方法，其通过与有限元方法结合来实现闭环控制，基于该模型构建 MPC 控制器，实现对硬币的拉动并获得了低于 5％的仿真误差。

    Feb, 2022

  • PlasticineLab：一项带有可微物理特性的软体操纵基准测试

    介绍了可微分物理实验基准 PasticineLab，它包括一系列软体操纵任务，并评估了针对该基准的强化学习和梯度优化方法。实验结果表明，基于 RL 的方法难以高效解决大多数任务，而基于梯度的方法可以在几十次迭代内快速找到解决方案，但在需要长期规划的多阶段任务上仍然表现不佳。我们期望 PasticineLab 将鼓励开发结合可微分物理和 RL 的新算法，以实现更复杂的基于物理的技能学习任务。

    Apr, 2021

  • RoboCraft: 用图形网络学习看、模拟和塑造弹性塑性物体

    RoboCraft 通过使用基于粒子的表示法，结合模型规划框架、图神经网络和模型预测控制算法，可以在只有 RGBD 视觉观测数据的情况下，学习弹塑性物体的动力学模型，并用于控制机器人进行物体变形任务，实验结果表明 RoboCraft 的优异性能在一些任务上甚至好于未训练的人类.

    May, 2022

  • 从 RGBD 视频推断关节刚体动力学

    本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

    Mar, 2022

  • 物理约束学习带不确定性的 PDE 系统的 Port-Hamiltonian 模型

    建议了一种物理约束学习方法，将强大的学习工具与可靠的物理模型相结合，通过高斯过程对观测到的数据进行处理，并将分布式 Port-Hamiltonian 模型与其物理约束相关联，以学习系统的动力学，并进行不确定性量化，并且保留了 Port-Hamiltonian 系统的组合性质。

    Jun, 2024

  • 学习布料平滑的可视连通性动态

    通过学习基于粒子的动力学模型来实现机器人对布料的操作，该模型具有较强的归纳偏差和物理学习能力，同时具有视觉不变性和良好的预测可视化性。在仿真和现实场景下取得了优异的表现。

    May, 2021

  • 浮力辅助腿式机器人的残差物理学习和系统识别用于机器人政策的模拟与现实转移

    该论文研究了通过系统识别和一种新的残余物理学习方法 —— 环境模仿，实现对 Buoyancy Assisted Lightweight Legged Unit (BALLU) 机器人控制策略的鲁棒性模拟到实际环境的迁移，以及最终在硬件上成功地实现行走和转向策略。

    Mar, 2023