Feb, 2023

Graph-Transporter：面向目标驱动变形物体重新排列任务的基于图的学习方法

PDF
TL;DR通过用图形结构表示可变形物体的配置空间，使用图卷积网络对图进行编码并采用基于全卷积网络的体系结构，只从视觉输入中输出逐像素的采取和放置动作，以实现目标条件下的可变形物体重新排列任务。
deformable objectsrobotic manipulationgraph structuregraph convolution networkgoal-conditioned tasks
发现论文，激发创造
  • 使用目标条件传输网络学习重新排列可变电缆、织物和袋子

    本文介绍了一种将目标限制引入运输网络中的方法，利用该方法结合具有多阶段柔性物体操作任务而设计的一套模拟基准，成功实现了机器人对柔性物体的多样姿态操作。

    Dec, 2020

  • 基于本地 GNN 的深度强化学习用于目标驱动的变形物体重新排列

    使用基于 GNN 的学习方法，通过两个表示图对图像中检测到的关键点进行编码。采用自注意力进行图更新和交叉注意力进行生成操作，实验表明该框架在多个 1-D 和 2-D 重排任务中非常有效，并且可以通过微调关键点检测器轻松转移到真实机器人中。

    Feb, 2023

  • 使用局部图神经网络学习基于视觉的可变形物体重新排列

    通过建立 keypoints 和它们之间的相互作用的一组动态图表达的新颖表示策略，提出一种在视觉观测的情况下模拟可变形对象重新排列动态并推断最佳操纵动作的方法。新方法在模拟实验中显示出优越的表达能力，在各种可变形重新排列任务中的成功率远高于现有方法（平均 96.3%），同时更轻量且推理时间较现有方法短 60%。并且该方法在多任务学习场景中表现良好，并通过仅微调关键点检测器可以转移到实际应用中，平均成功率为 95%。

    Oct, 2023

  • 运输网络：为机器人操作重构视觉世界

    本文提出了 Transporter Network，一种简单的模型体系结构，它可以重新排列深层特征以从视觉输入中推断出空间位移，使得机器人的行动具有参数化，是一种可以表示复杂的多模式策略分布并推广到多步顺序任务的方法，并且采样效率比基准方法快数个数量级。

    Oct, 2020

  • 运输器视觉前瞻解决未知重新排列任务

    本文提出了一种基于图像的任务规划方法，称为具有视觉预见的运输器，旨在解决智能机器人操作中的重新排列任务。通过多模态动作建议模块和 Goal-Conditioned Transporter Network 的学习，实现零样本通用性和高效学习。在模拟和真实机器人实验中，该方法以很少的数据量显著提高了任务的成功率。

    Feb, 2022

  • 傅立叶传输器：三维双等变机器人操作

    利用傅里叶转换器在复杂机器人操作任务中提高样本效率，通过训练和预测新环境下的拾取 - 放置动作来实现开环行为克隆方法，并独立考虑拾取和放置动作的对称性，取得了在 RLbench 基准测试中的最新成果。

    Jan, 2024

  • 基于无监督学习的目标关键点感知与控制

    本研究旨在学习控制和强化学习（RL）有用的对象表示。我们介绍了 Transporter，这是一种神经网络体系结构，用于以关键点或图像空间坐标的形式发现简明的几何对象表示。

    Jun, 2019

  • 神经约束满足：层次抽象在物体重新排列中的组合推广

    通过构建一个因式分解转换图，将通过像素推断出的实体代表聚类，进而实现对嵌入式代理的物体重新排列的控制，解决到目前为止难以解决的大量实体配置问题。

    Mar, 2023

  • 空间关系图和图卷积网络用于目标导航

    该论文介绍了一种针对目标导航任务的框架，其中机器人需要从随机起始位置找到并移动到最近的目标对象类的实例。该框架利用机器人轨迹的历史记录来学习空间关系图和基于图卷积网络的嵌入，以便估计不同语义标签区域的接近度以及这些区域中不同的对象类别的出现。在评估期间，机器人使用贝叶斯推断和空间关系图来估计可见区域，并使用已学习的图卷积网络嵌入来排名可见区域并选择下一个探索区域。

    Aug, 2022

  • DefGoalNet：针对可变形物体处理的从演示中学习上下文目标

    通过开发新颖的神经网络 DefGoalNet，我们解决了依赖于目标形状规范的问题，该网络可以直接从少量人类演示中学习可变形物体的目标形状，并在各种机器人任务中证明了方法的有效性，甚至在手术复位任务中，即使只使用 10 个演示，我们的方法也能够达到近 90% 的成功率，这些结果大大推动了形状伺服方法接近实际的实际应用。

    Sep, 2023