本文介绍了一种算法，通过深度神经网络学习将点云、自然语言和操作轨迹数据嵌入到共享的嵌入空间，并应用于机器人操作中，取得了较高的精度和推理时间改善。

Sep, 2015

采用基于视觉的系统和神经网络，我们提出了一种使用密集的向量场来预测各种关节物体的潜在运动的方法，并在此基础上展开手部的运动规划用于操纵各种对象，实验结果表明该系统在模拟和现实世界中均取得了最优良好的表现。

May, 2022

我们介绍了一种基于机器人和任务空间的点云表示的机器人抓取的新型轨迹优化方法。使用点云表示，通过点匹配可以实现抓取的目标到达，而通过查询场景点的有符号距离场中的机器人点的有符号距离值可以有效地实现避碰。因此，我们提出了一个约束非线性优化问题来解决联合运动和抓取规划问题。我们的方法的优势在于点云表示可用于任何环境中的任何机器人。我们通过在台面场景和货架场景上进行使用 Fetch 移动式机械手和 Franka Panda 机械臂的抓取实验来证明我们方法的有效性。

Mar, 2024

通过使用点云作为状态表示并利用预训练的点云重建 Transformer 学习潜在动力学模型，我们提出了一种系统来解决可变形物体操纵中的挑战，进而应用于机器人雕塑任务。我们设计了一种新颖的动作采样算法，通过推理点云之间的几何差异进一步提高了基于模型的规划器的效率。所有的数据和实验都在真实世界中进行。我们的实验证明，所提出的系统能够成功地捕捉到黏土的动力学，并能够创建各种简单的形状。

Sep, 2023

我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

Dec, 2023

基于图像的机器人操纵系统，利用多个视角捕捉目标物体，推断深度信息以补充其几何信息，采用几何一致性融合视角，实现精确操纵决策。

Oct, 2023

本文提出了一个在未知环境中自主交互大型铰接物体的两阶段架构，第一阶段是以物体为中心的规划器，第二阶段是以智能代理为中心的规划器，并且在移动障碍物的情况下，通过优化控制问题确保安全跟踪所生成的计划。

Mar, 2021

通过自我监督的模仿学习方法，使用自回归时空图神经网络进行辅助饮水任务，利用多样化的人体运动轨迹数据来生成适合 UR5e 机器臂的自然而又功能性的饮水运动轨迹。

Sep, 2023

人 - 机器人操作中准确预测人类动作是关键，本研究提出 ManiCast 框架，学习成本感知的人类预测并传递给模型预测控制计划器，实现合作操作任务。

Oct, 2023

通过离线和在线阶段的两步操作，本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法，包括轨迹提取、对象检测、轨迹匹配，借助多个辅助模型验证设计决策，并在真实世界场景下进行了广泛评估。

Mar, 2024