基于本地 GNN 的深度强化学习用于目标驱动的变形物体重新排列

Feb, 2023

基于本地 GNN 的深度强化学习用于目标驱动的变形物体重新排列

Deep Reinforcement Learning Based on Local GNN for Goal-conditioned Deformable Object Rearranging

Yuhong Deng, Chongkun Xia, Xueqian Wang, Lipeng Chen

TL;DR使用基于 GNN 的学习方法，通过两个表示图对图像中检测到的关键点进行编码。采用自注意力进行图更新和交叉注意力进行生成操作，实验表明该框架在多个 1-D 和 2-D 重排任务中非常有效，并且可以通过微调关键点检测器轻松转移到真实机器人中。

Abstract

Object rearranging is one of the most common deformable manipulation tasks, where the robot needs to rearrange a deformable object into a goal configuration. Previous studies focus on designing an expert system for each specific task by model-based or data-driven approaches and the app

deformable manipulation rearranging tasks graph neural networks keypoint detection robotics

发现论文，激发创造

使用局部图神经网络学习基于视觉的可变形物体重新排列

通过建立 keypoints 和它们之间的相互作用的一组动态图表达的新颖表示策略，提出一种在视觉观测的情况下模拟可变形对象重新排列动态并推断最佳操纵动作的方法。新方法在模拟实验中显示出优越的表达能力，在各种可变形重新排列任务中的成功率远高于现有方法（平均 96.3%），同时更轻量且推理时间较现有方法短 60%。并且该方法在多任务学习场景中表现良好，并通过仅微调关键点检测器可以转移到实际应用中，平均成功率为 95%。

Oct, 2023

Graph-Transporter：面向目标驱动变形物体重新排列任务的基于图的学习方法

通过用图形结构表示可变形物体的配置空间，使用图卷积网络对图进行编码并采用基于全卷积网络的体系结构，只从视觉输入中输出逐像素的采取和放置动作，以实现目标条件下的可变形物体重新排列任务。

Feb, 2023

使用目标条件传输网络学习重新排列可变电缆、织物和袋子

本文介绍了一种将目标限制引入运输网络中的方法，利用该方法结合具有多阶段柔性物体操作任务而设计的一套模拟基准，成功实现了机器人对柔性物体的多样姿态操作。

Dec, 2020

DefGoalNet：针对可变形物体处理的从演示中学习上下文目标

通过开发新颖的神经网络 DefGoalNet，我们解决了依赖于目标形状规范的问题，该网络可以直接从少量人类演示中学习可变形物体的目标形状，并在各种机器人任务中证明了方法的有效性，甚至在手术复位任务中，即使只使用 10 个演示，我们的方法也能够达到近 90% 的成功率，这些结果大大推动了形状伺服方法接近实际的实际应用。

Sep, 2023

使用深度强化学习进行非预抓取操作的重排

该研究基于深度强化学习、视觉反馈、潜在场探索策略和平衡数据集的训练方式，开发了一套具有非抓握重排能力的机器人系统，成功率高达 85%，并能够应对环境突然改变，达到了人类水平。

Mar, 2018

学习用于笛卡尔机器人的双臂物体重新排列

本研究针对工业机器人中的双臂物体重排问题，提出了一种基于强化学习和注意力网络的任务指派策略，实现了最小化任务执行时间和最大化双臂协作效率，实验结果表明该方法在总执行时间和计算效率方面优于传统方法，并且在不同物体数量下的推广性得到了验证。

Feb, 2024

针对动态场景的图注意力网络相机重定位

我们提出了基于图注意力网络的方法，利用场景三角网格表示来估计动态环境下的图像相机位置，通过三个组件（图神经网络、卷积神经网络和神经网络模型）的端到端训练，结合 RANSAC 算法和点云表示有效地提高了相机位置精度。

Sep, 2022

神经约束满足：层次抽象在物体重新排列中的组合推广

通过构建一个因式分解转换图，将通过像素推断出的实体代表聚类，进而实现对嵌入式代理的物体重新排列的控制，解决到目前为止难以解决的大量实体配置问题。

Mar, 2023

物理编码图神经网络用于接触下形变预测

机器人学中，通过物理编码的图神经网络，建模刚性网格与可变形网格间的动力学关系，以精确理解接触过程中的物体变形，推动机器人模拟与抓取研究的进展。

Feb, 2024

全局一致非刚性重建的神经形变图

本文提出一种使用深度神经网络建模变形图表达非刚性物体的全局一致变形跟踪和三维重建方法，能够在快速运动或时间不连续记录的情况下实现稳健的跟踪，并在明确的视点一致性和图形表面一致性约束下全局优化神经变形图进行自监督训练，同时利用隐式多层感知器形态表示对物体的形状进行优化，实验表明其效果优于现有的非刚性重建方法。

Dec, 2020