May, 2021

学习布料平滑的可视连通性动态

PDF
TL;DR通过学习基于粒子的动力学模型来实现机器人对布料的操作，该模型具有较强的归纳偏差和物理学习能力，同时具有视觉不变性和良好的预测可视化性。在仿真和现实场景下取得了优异的表现。
robotic manipulationparticle-based dynamics modelcloth physicssim-to-real transfermodel-free reinforcement learning
发现论文，激发创造
  • 虚拟试穿服装的基于学习的动画

    本文提出了一种基于学习的服装动画方法，用于高效的虚拟试穿模拟，其中使用了基于物理的模拟，基于数据库的模型训练，并将全局服装吻合和局部服装皱纹分离。同时，使用循环神经网络来回归服装皱纹，实现了高度逼真的非线性效果。

    Mar, 2019

  • 利用 Contrastive Estimation 学习变形物体的预测表示

    本研究提出了一种新的学习框架，使用对比估计来同时优化可视化表达模型和动态模型，在随机扰动变形对象并收集了模拟数据后，离线学习这些对象的潜在动态模型，随后使用简单的模型规划来解决具有挑战性的变形对象操纵任务，实验结果表明其性能优于传统模型学习技术，并通过域随机化将其可视化操纵策略从模拟数据成功地迁移到现实中的 PR2 机器人中。

    Mar, 2020

  • 利用人类视频在现实世界中学习织物操作

    本文探讨了如何通过观察人类直接收集操作布料的示范，利用一些收集到的示范，我们展示了如何学习并在实际机器人上部署拾取和放置策略。

    Nov, 2022

  • 一种基于物理的深度学习框架用于布料模拟

    通过物理嵌入学习框架，使用卷积神经网络代表物体之间的空间相关性，并通过三个分支学习布料物理的线性、非线性和时间导数特征，模型通过与传统模拟器或子神经网络相结合，测试在不同的布料动画案例中达到与基准值的一致性和预测的真实性，同时提高了推理效率，可与其他视觉细化技术整合应用于三维布料动画。

    Mar, 2024

  • RoboPack: 学习基于触觉信息的密集装箱动力学模型

    利用视触知觉感知和深度学习的方法来进行机器人操作，其中结合了视触反馈，通过学习神经网络模型进行物体状态估计和未来状态预测。通过使用真实世界的数据进行训练，该模型可以在在线适应中进行触觉信息驱动的预测，具有较强的有效性。

    Jul, 2024

  • 使用触觉学习布料导航

    使用触觉信息，通过控制器来实现机械臂样的操纵工具在模拟中导航变形的衣物是一项挑战。我们提出了一种聚合力信息的控制器，通过沿着操纵工具的多个触觉传感器进行引导。基于触觉力，每个单独的球更新其目标位置，并且通过解决具有约束的逆运动学问题解决这个一组所需位置之间出现的冲突。最后，我们使用强化学习为单个触觉传感器训练控制器，在模拟中成功导航了机械臂样的操纵工具穿过各种服装，包括一个孤立的袖子、夹克、衬衫和短裤。

    Mar, 2017

  • 基于潜在动态规划的有效布料展平方法 - PlaNet-Pick

    本文研究了为什么像 PlaNet 这样的循环状态空间模型在布料操纵任务中失败，通过在拾放布料平整领域中应用 PlaNet，探讨了模糊的重建如何导致在潜在空间中直接进行规划变得困难，并通过采用 KL 平衡和潜在超调来调整训练损失和计划拾取位置，并将更新后的 PlaNet-Pick 模型应用于潜在 MPC 算法，在模拟中实现了最先进的性能。

    Mar, 2023

  • 学习粒子动力学，用于操作刚体、可变形物体和流体

    本文提出了一种基于粒子的学习模拟器来解决复杂控制问题，同时在模拟跨物质的复杂场景方面具有很好的表现，使得机器人能够完成复杂的操控任务，如操纵流体和可形变泡沫，利用在仿真及现实中的实验结果显示了该方法的可行性。

    Oct, 2018

  • 使用单臂学习实际服装折叠：基于云计算机器人技术的案例研究

    使用远程控制平台测试了自主织物操纵算法在物理机器人上的性能，并研发了一套新的以模仿学习与分析法为基础的算法，在折叠 T 恤任务上达到了人类的 84％表现。

    Apr, 2022

  • 从 RGB-D 视频中学习基于粒子的 3D 模拟器

    通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

    Dec, 2023