- 学习可变形物体的对应关系
我们研究了可变形物体(布料和绳索)的像素级对应问题,比较了传统方法和基于学习的方法。我们选择布料和绳索,因为它们在解析建模方面是最难的可变形物体之一,而且在机器人任务(如布料折叠、绳结打结、T 恤折叠、窗帘合拢等)中具有意义。我们提出了对于 - D-Cubed: 灵巧可塑操作的潜在扩散轨迹优化
利用潜在扩散模型进行机器人灵巧可变形物体操控的轨迹优化,通过渐变自由引导采样方法和反扩散过程,发现并优化可行解,显著超越传统的轨迹优化和竞争基准方法。
- 无仿真强化学习框架中的机器人学习袋装技能
该篇文章介绍了一种基于学习的有效框架,使得机器人能够学会装袋,通过引入一种强化学习算法,该框架能够在现实世界中通过一组紧凑的状态表示找到袋子的最佳抓取点,经过大约三个小时的训练后,该框架在开始折叠和展开装袋任务时的成功率分别达到 60% 和 - 使用局部图神经网络学习基于视觉的可变形物体重新排列
通过建立 keypoints 和它们之间的相互作用的一组动态图表达的新颖表示策略,提出一种在视觉观测的情况下模拟可变形对象重新排列动态并推断最佳操纵动作的方法。新方法在模拟实验中显示出优越的表达能力,在各种可变形重新排列任务中的成功率远高于 - 评估布料操控中的仿真与现实差距
通过评估可变形物体模拟器与真实数据之间的现实差距,我们提出了一个用于评估布料操作中模拟与真实之间差距的基准数据集。我们使用这个数据集评估了四个流行的可变形物体模拟器:MuJoCo,Bullet,Flex 和 SOFA 的现实差距、计算时间和 - 利用 RGB 和事件相机的可变形神经辐射场
使用 RGB 和事件相机以及异步的事件流与校正的稀疏 RGB 帧的组合,共同优化事件相机的位置和辐射场,以建模可变形的神经辐射场。该方法在处理高变形和低采样率的情况下显示出显著优势,并在真实世界数据集上进行了实验证明其对建模动态场景中的可变 - ICCV通过稠密对应实现可变形物体的隐式形状表示的自监督学习
使用自监督学习方法为可变形物体学习神经隐含形状表示法,无需特定语义领域的额外注释和大量变形约束,可用于纹理转移和形状编辑应用。
- 多阶段电缆布线的层次化模仿学习
研究多阶段机器人操纵任务的学习问题,应用于电缆布线,其中机器人必须通过一系列的夹子将电缆线路引出。通过使用基于视觉的策略训练的模仿学习系统,在较低(电机控制)和较高(排序)层面上描述了此方法,展示了在非常具有挑战性的夹子放置变化中普遍性能。
- ICLRDexDeform: 通过人类演示和可微分物理实现灵巧的可变形物体操作
本文提出了 DexDeform,这是一种从人类示范中抽象出熟练操作技能并通过可微分物理学进行改进的原则性框架,该框架旨在学习多指手指对可变形物体的熟练操作,并通过新颖的探索策略以及基于想象的行动计划来提高操作的成功率。
- ICLR利用物理传感器观测基于图模型的网络模拟器校准
该论文提出一种结合实际感知信息的模型,利用点云数据预测可变形物体的网格状态,实现对物理模拟的准确长期预测,尤其是在存在未知物质属性等不确定性的情况下。
- Graph-Transporter:面向目标驱动变形物体重新排列任务的基于图的学习方法
通过用图形结构表示可变形物体的配置空间,使用图卷积网络对图进行编码并采用基于全卷积网络的体系结构,只从视觉输入中输出逐像素的采取和放置动作,以实现目标条件下的可变形物体重新排列任务。
- 利用人类视频在现实世界中学习织物操作
本文探讨了如何通过观察人类直接收集操作布料的示范,利用一些收集到的示范,我们展示了如何学习并在实际机器人上部署拾取和放置策略。
- 利用点云中的时空抽象进行可塑性物体操作规划
本文提出了一种采用空间 - 时间抽象进行场景感知的长时程变形物体操作规划框架(PASTA),其将高维 3D 观测映射到一组潜变量上,生成技能序列,能够在真实环境中快速地、有效地执行复杂的变形物体操纵任务,需要组合刀具使用技能、推力器推动技能 - EDO-Net: 学习可变形物体的弹性属性,来自于图动力学
研究弹性物理性质潜在表示在图动力学学习中的应用,提出了 EDO-Net 模型将自适应模块和前向动力学模块结合,通过拉力交互实现对不同弹性物质的学习和预测,并在仿真和实际世界中进行了测试和验证。
- 机器化面团成形
本研究主要研究了如何使用机器人手臂和多种传感器将软饰物(dough-like deformable material)进行操作并且变形成一个指定的二维形状,并从控制策略和操作技巧等多方面进行了探究,实验结果表明使用指定的方式对软饰物进行操作 - 从全局角度重新审视可微分仿真优化
本文研究了 differentiable simulation 在含有刚体和可变形物体的情景下所面临的挑战,提出了一种使用贝叶斯优化和半局部 “跳跃” 的方法来获得全局搜索方法的方案,并在模拟实验和实际机器人实验中验证了该方法的有效性。
- ICLRDiffSkill: 从可微分物理学中抽象技能用于工具对形变物体的操作
本研究提出了一个名为 DiffSkill 的新框架,使用可微分的物理模拟器进行技能抽象,从感官观测中解决长期目标可达的可变形物体操作任务。
- 变形一维物体的高效空间表示和路径规划
本文提出了一种新的方法来路由可变形的一维物体,该方法基于将空间几何分解为凸子空间的方式进行空间表示,使用一种快速的动态规划序列匹配方法计算下一个路由移动,并将路由和高效配置耦合以提高规划时间。实验结果表明,该方法能够正确地计算下一个操纵动作 - 通过观看视频学习可变形三维物体的 DOVE 模型
DOVE 是一种用于从单目视频中学习可变形物体纹理 3D 模型的方法,无需关键点、视点或模板形状监督,并利用视频中的时间对应关系和对称性消除姿态歧义,将三维形状、艺术姿势和纹理从每个单独的 RGB 帧中分离出来。
- 基于弹性手和基于模型的强化学习的可变形弹性塑性物体成形
本文提出了一种新的弹性末端执行器,利用强化学习的框架来滚动各种水合水平的面团,并通过建立末端执行器和面团之间的转移模型使机器人能够正确地操作面团,实验结果表明,相比启发式方法,该方案可以将面团滚出特定长度,且操作次数减少了 60%,同时还表