本文提出了一种基于图像的任务规划方法，称为具有视觉预见的运输器，旨在解决智能机器人操作中的重新排列任务。通过多模态动作建议模块和 Goal-Conditioned Transporter Network 的学习，实现零样本通用性和高效学习。在模拟和真实机器人实验中，该方法以很少的数据量显著提高了任务的成功率。

Feb, 2022

通过用图形结构表示可变形物体的配置空间，使用图卷积网络对图进行编码并采用基于全卷积网络的体系结构，只从视觉输入中输出逐像素的采取和放置动作，以实现目标条件下的可变形物体重新排列任务。

Feb, 2023

本文介绍了一种将目标限制引入运输网络中的方法，利用该方法结合具有多阶段柔性物体操作任务而设计的一套模拟基准，成功实现了机器人对柔性物体的多样姿态操作。

Dec, 2020

利用傅里叶转换器在复杂机器人操作任务中提高样本效率，通过训练和预测新环境下的拾取 - 放置动作来实现开环行为克隆方法，并独立考虑拾取和放置动作的对称性，取得了在 RLbench 基准测试中的最新成果。

Jan, 2024

本研究旨在学习控制和强化学习（RL）有用的对象表示。我们介绍了 Transporter，这是一种神经网络体系结构，用于以关键点或图像空间坐标的形式发现简明的几何对象表示。

Jun, 2019

研究了平面机器人拾取和放置中的对称性，并提出了将等变神经模型融入 Transporter Net 的方法，以捕捉所有对称性。经实证评估，新模型比非对称版本更高效，并能在各种模仿学习任务中以很少的人类示范来模仿拾取和放置行为。

Aug, 2023

采用关键点为基础的表征在各种视觉和机器人任务中证明了优势。然而，现有的二维和三维关键点检测方法主要依赖几何一致性实现空间对齐，忽视了时间一致性。为了解决这个问题，介绍了用于二维数据的传输器方法，从源帧重构目标帧以包含空间和时间信息。然而，将传输器直接应用于三维点云由于其与二维图像的结构差异而不可行。因此，我们提出了第一个三维版本的传输器，它利用混合三维表示、交叉关注和隐式重构。我们将这个新的学习系统应用于三维关节对象和非刚性动物（人类和啮齿动物），并展示了学到的关键点在时空上的一致性。此外，我们提出了一种闭环控制策略，利用学到的关键点进行三维物体操作，并展示了其卓越性能。代码可在此 https URL 获取。

Sep, 2023

通过结合视觉操作中的语义理解与空间精度，使用基于语言的模仿学习代理 CLIPort，可在训练过程中不需要显式地表示对象姿态、实例分割、内存、符号状态或句法结构的情况下，有效地解决各种语言规定的桌面任务，具有数据效率和泛化能力。

Sep, 2021

本文提出了一个新的方法，利用生成对抗网络构建机器人的运动模式，使机器人能够通过调整速度的变化，表现出人类的细致和谨慎，从而更好地适应不同的操作场景。

Mar, 2022

使用基于 GNN 的学习方法，通过两个表示图对图像中检测到的关键点进行编码。采用自注意力进行图更新和交叉注意力进行生成操作，实验表明该框架在多个 1-D 和 2-D 重排任务中非常有效，并且可以通过微调关键点检测器轻松转移到真实机器人中。

Feb, 2023