SculptBot: 三维可变形物体操纵的预训练模型

Sep, 2023

SculptBot: 三维可变形物体操纵的预训练模型

SculptBot: Pre-Trained Models for 3D Deformable Object Manipulation

Alison Bartsch, Charlotte Avra, Amir Barati Farimani

TL;DR通过使用点云作为状态表示并利用预训练的点云重建 Transformer 学习潜在动力学模型，我们提出了一种系统来解决可变形物体操纵中的挑战，进而应用于机器人雕塑任务。我们设计了一种新颖的动作采样算法，通过推理点云之间的几何差异进一步提高了基于模型的规划器的效率。所有的数据和实验都在真实世界中进行。我们的实验证明，所提出的系统能够成功地捕捉到黏土的动力学，并能够创建各种简单的形状。

Abstract

deformable object manipulation presents a unique set of challenges in robotic manipulation by exhibiting high degrees of freedom and severe self-occlusion. State representation for materials that exhibit plastic behavior, like modeling clay or bread dough, is also difficult because the

deformable object manipulation robotic sculpting point clouds latent dynamics model model-based planners

发现论文，激发创造

SculptDiff：从人类学习具有目标条件扩散策略的机器人粘土雕塑

提出了一种基于扩散的目标条件下的模仿学习框架，使用点云状态观测直接学习各种目标形状的粘土雕塑策略，这是首个成功学习 3D 可变形物体操纵策略的真实世界方法。

Mar, 2024

DeformerNet: 学习三维可变形物体的双手操作

该研究论文介绍了一种新的神经网络结构 DeformerNet，可以帮助机器人处理和变形 3D 有弹性物体的操作，从而可靠地完成手术子任务，无需事先制作特定形状。

May, 2023

RoboCraft: 用图形网络学习看、模拟和塑造弹性塑性物体

RoboCraft 通过使用基于粒子的表示法，结合模型规划框架、图神经网络和模型预测控制算法，可以在只有 RGBD 视觉观测数据的情况下，学习弹塑性物体的动力学模型，并用于控制机器人进行物体变形任务，实验结果表明 RoboCraft 的优异性能在一些任务上甚至好于未训练的人类.

May, 2022

基于弹性手和基于模型的强化学习的可变形弹性塑性物体成形

本文提出了一种新的弹性末端执行器，利用强化学习的框架来滚动各种水合水平的面团，并通过建立末端执行器和面团之间的转移模型使机器人能够正确地操作面团，实验结果表明，相比启发式方法，该方案可以将面团滚出特定长度，且操作次数减少了 60％，同时还表明利用弹性末端执行器估计刚度可以用于有效初始化模型，提高机器人性能约 40％。

Jul, 2021

Robobarista: 基于物体部分的 3D 点云操作轨迹众包转移

本文提出了一种以机器学习为基础的家庭机器人物品操控规划框架，该框架结合了大规模众包数据集和三种不同形态的语言特征，使得即使对于未曾见过的物品，家庭机器人也能够对其进行操控。

Apr, 2015

可变形物体跟踪的快速点云到网格重建

我们开发了一种能够以超过 50 赫兹的速度为不同类别的对象创建变形点云的变形网格的方法，该方法使用点云自动编码器和 Real-NVP 架构设计，可以在闭环方式下提供在线反馈并进行机器人应用的网格重建和跟踪。

Nov, 2023

学习无标记可变形线性物体的准静态三维模型，用于双手机器人操纵

通过分析多个学习型三维模型来塑造可变形直线物体（DLO）的行为，本文提出了一种基于 Transformer 架构的新模型，并引入了数据增强技术以提高预测性能。在实验证明了这些学习型三维模型在塑造 DLO 任务中的适用性。

Sep, 2023

3D-PhysNet: 学习非刚性对象变形的直观物理

本文提出了基于 3D-PhysNet 框架的物理建模方法，可以对三维物体在外力作用下的变形进行快速预测，并具有材料属性的泛化性，并且通过深度变分自编码器结合敌对训练的方式进行了材料属性的编码，以及通过级联结构对部分视图下的物体变形进行预测。

Apr, 2018

SoftGym: 可变形物体操纵深度强化学习基准测试

本文介绍了 SoftGym，一个开源的、用于操纵可变形物体的模拟基准测试集。它可以用于研究深度强化学习技术在高位状态表示和复杂动态环境下的可行性，并且本文针对用于解决这一问题的算法进行了实验和分析。

Nov, 2020

SUGAR: 为机器人预训练 3D 视觉表征

通过名称为 SUGAR 的新型 3D 预训练框架，可以捕捉物体的语义、几何和功能属性，解决了处理复杂 3D 场景中的遮挡和准确定位对象的亚优缺陷；SUGAR 利用可变转换模型同时处理五个预训练任务，包括语义学习的跨模态知识蒸馏、理解几何结构的遮蔽点建模、对象功能的抓握姿势合成、3D 实例分割和杂乱场景中的指代表达接地；实验结果表明，SUGAR 的 3D 表示优于最先进的 2D 和 3D 表示。

Apr, 2024