物理序列织物操作的视觉空间预测
提出了一种基于空间 - 时间注意机制的多步布料操纵规划框架 Foldformer,能够在没有目标观察的情况下完成相似任务,在四个典型的多步操作任务中大幅优于现有技术,而且可以在不需要额外培训或域随机化的情况下从模拟转移到实际应用中。
Jan, 2023
在这项研究中,我们介绍了一种公式,使得协作机器人能够执行视觉触觉推理 —— 推断物理交互过程中施加力的位置和大小,我们提出了两种不同的模型表示法,在物理模拟中进行训练,使得机器人能够通过视觉和机器人运动观察来实现触觉推理。通过定量评估,我们展示了这些模型在模拟中能够概括不同任务的相互作用、人体尺寸和物体形状。同时,我们也使用我们在模拟中训练的模型,与现实世界中的移动机械手进行实际的物理辅助任务,估算施加的接触力。
Aug, 2022
使用远程控制平台测试了自主织物操纵算法在物理机器人上的性能,并研发了一套新的以模仿学习与分析法为基础的算法,在折叠 T 恤任务上达到了人类的 84%表现。
Apr, 2022
本文提出了一种新颖的双向分形交叉融合神经网络(BiFCNet)用于语义分割,使得机器人能够识别出可抓取的区域以提供更多抓取可能性,同时还提出了一种基于对抗方法的数据增强方法,最后基于衣服平整度量的分割区域抓取点选择策略。在公共数据集 NYUDv2 上评估这种方法,取得与目前最先进模型相当的表现,并且通过对机械臂的抓取和展开实验进行了验证,获得了 84% 的成功率。
May, 2023
本文提出了一种基于图像的任务规划方法,称为具有视觉预见的运输器,旨在解决智能机器人操作中的重新排列任务。通过多模态动作建议模块和 Goal-Conditioned Transporter Network 的学习,实现零样本通用性和高效学习。在模拟和真实机器人实验中,该方法以很少的数据量显著提高了任务的成功率。
Feb, 2022
本文提出了一个基于图形结构的框架,包含可视化预测模块及提案网络模块,利用低维潜在空间进行常规复杂操作的动作计划,验证了在模拟环境和实际机器人中制定可行的任务完成方案及操作计划。
Mar, 2020
通过学习基于粒子的动力学模型来实现机器人对布料的操作,该模型具有较强的归纳偏差和物理学习能力,同时具有视觉不变性和良好的预测可视化性。在仿真和现实场景下取得了优异的表现。
May, 2021
我们引入了一种通用的视觉预测框架,旨在直接模仿视觉序列而不需要额外的监督。我们通过将视觉预测转化为逆强化学习问题,并通过可训练的深层特征表示扩展最近的进展来解决计算瓶颈。我们在低级像素到高级语义的三个不同级别上评估了我们的方法,在所有级别上,我们的方法都优于现有的方法。
Aug, 2017
提出了一种基于序贯强化学习的 Quasi-Dynamic Parameterisable(QDP)方法,用于优化静态和动态操作基元的运动速度和拾取和放置位置的参数,以提高布料操纵性能。在模拟和真实世界的实验中,结果表明通过优化基元的参数,性能可以提高 20%。
Mar, 2023