Oct, 2023

评估布料操控中的仿真与现实差距

PDF
TL;DR通过评估可变形物体模拟器与真实数据之间的现实差距，我们提出了一个用于评估布料操作中模拟与真实之间差距的基准数据集。我们使用这个数据集评估了四个流行的可变形物体模拟器：MuJoCo，Bullet，Flex 和 SOFA 的现实差距、计算时间和模拟稳定性，并讨论了每个模拟器的优缺点。这个基准数据集是开源的，补充材料、视频和代码可以在给出的网址找到。
realistic physics enginesdeformable objectssim-to-real gapcloth manipulationbenchmark dataset
发现论文，激发创造
  • 机器人操作任务中的现实差距量化

    本文研究了各种模拟器与真实机器人项目达成目标时的准确度差异，以及其在操作导向的机器人任务中的应用，呈现出多种现代模拟器的相对优势和劣势，对研究人员在选择适当的模拟器时提供帮助。

    Nov, 2018

  • 可变形物体操作的仿真增强学习

    采用最先进的深度强化学习算法，通过领域随机化，在仿真环境中训练代理程序以解决可变形物体操作问题，并成功将其部署在实际工作中。

    Jun, 2018

  • 利用合成数据学习机器人布料操纵的关键点

    通过合成数据进行训练，为几乎铺平的服装物品设计关键点检测器，从而推动合成数据在衣物操作中的使用，并为机器人折叠等任务提供支持。

    Jan, 2024

  • SoftGym: 可变形物体操纵深度强化学习基准测试

    本文介绍了 SoftGym，一个开源的、用于操纵可变形物体的模拟基准测试集。它可以用于研究深度强化学习技术在高位状态表示和复杂动态环境下的可行性，并且本文针对用于解决这一问题的算法进行了实验和分析。

    Nov, 2020

  • 利用人类视频在现实世界中学习织物操作

    本文探讨了如何通过观察人类直接收集操作布料的示范，利用一些收集到的示范，我们展示了如何学习并在实际机器人上部署拾取和放置策略。

    Nov, 2022

  • 基于 Sim2real 转移学习的 3D 人体姿势估计：动作拯救

    通过提取运动信息（光流和二维关键点），我们展示了神经网络方法可以在仅使用 SURREAL 合成数据的情况下与最先进的基于真实 3D 序列训练的方法相媲美地从 3D 视角估计人体姿态。

    Jul, 2019

  • 使用软材料模拟的视觉形变检测用于条件评估模型预训练

    这篇论文介绍了在制造业中几何质量保证的挑战，特别是在需要人工评估时。它提出使用 Blender（一种开源模拟工具）为机器学习模型创建合成数据集，通过将专家信息转化为形状关键参数以模拟变形，生成包括变形和未变形物体的图像。该研究探讨了真实环境和模拟环境之间的差异对机器学习模型性能的影响，并调查了不同模拟背景对模型敏感性的影响。此外，该研究旨在通过生成具有多种随机视点的数据集来增强模型对相机定位的稳健性。整个过程，从数据合成到模型训练和测试，都使用与 Blender 接口的 Python API 进行实现。通过对一个苏打罐对象的实验，验证了所提出的流程的准确性。

    Apr, 2024

  • DiffAvatar: 可模拟的服装优化与可微分模拟

    使用可区分的仿真，我们提出了 DiffAvatar，一种新颖的方法，通过身体和服装的协同优化来提高数字化身的真实感，从而实现自我表达和定制；实验表明，我们的方法可以生成逼真的服装和身体形状，可轻松用于下游应用。

    Nov, 2023

  • 学习布料平滑的可视连通性动态

    通过学习基于粒子的动力学模型来实现机器人对布料的操作，该模型具有较强的归纳偏差和物理学习能力，同时具有视觉不变性和良好的预测可视化性。在仿真和现实场景下取得了优异的表现。

    May, 2021

  • Syn2Real: 一种新的用于合成到真实视觉领域适应的基准测试

    本文介绍了一个新的大型基准测试 Syn2Real，其中包括了一个从 3D 物体模型渲染出的合成域以及两个包含相同物体类别的真实图像域，分别定义了三个相关任务：封闭集物体分类、开放集物体分类和物体检测。评估多种最先进的方法揭示了现有方法在不同任务上存在的许多适应性问题。

    Jun, 2018