该研究介绍了一种利用大型语言模型（LLMs）的能力生成通用长视野操作的基本任务条件的框架，用于对新颖物体和未知任务进行操作。这些任务条件用于指导长时程任务执行中动态运动基元（DMP）轨迹的生成和调整。我们还基于 Pybullet 创建了一个用于进行长时程任务评估的具有挑战性的机器人操纵任务套件。在模拟和现实环境中进行的大量实验证明了我们的框架在涉及新对象的熟悉任务和新颖但相关任务上的有效性，突显了大型语言模型在提升机器人系统的多功能性和适应性方面的潜力。

Oct, 2023

本文介绍了一种算法，通过深度神经网络学习将点云、自然语言和操作轨迹数据嵌入到共享的嵌入空间，并应用于机器人操作中，取得了较高的精度和推理时间改善。

Sep, 2015

大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

Oct, 2023

提出了一种名为 DELTA 的新型 LLM 驱动的任务规划方法，通过将环境拓扑图作为 LLM 中的环境表示，以快速生成精确的规划问题描述；同时利用 LLM 将长期任务目标分解为自回归的子目标序列，以供自动化任务规划器解决；该方法提供了更高效且完全自动化的任务规划流程，实现了比现有技术更高的规划成功率和显著缩短的规划时间。

Apr, 2024

提出了一个新方法，通过结合 Koopman 操作符和动态运动原理与示教学习，将非线性动力系统投影到线性潜在空间中，从而实现复杂动作的解决方案。

Dec, 2023

本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

May, 2019

本文研究了在空间环境下，利用强化学习算法对浮动式双臂空间机械臂（FFDASM）进行轨迹规划，通过模块一实现目标空间内多目标轨迹规划，模块二则可以预测并追踪自旋的非配合目标物体上的目标点。实验结果表明了该学习系统的可扩展性和普适性。

Jul, 2022

通过开发新颖的神经网络 DefGoalNet，我们解决了依赖于目标形状规范的问题，该网络可以直接从少量人类演示中学习可变形物体的目标形状，并在各种机器人任务中证明了方法的有效性，甚至在手术复位任务中，即使只使用 10 个演示，我们的方法也能够达到近 90% 的成功率，这些结果大大推动了形状伺服方法接近实际的实际应用。

Sep, 2023

使用大型语言模型综合视觉 - 语言模型，生成适用于各种机器人操作的闭环轨迹。

Jul, 2023

本文提出了一种新的弹性末端执行器，利用强化学习的框架来滚动各种水合水平的面团，并通过建立末端执行器和面团之间的转移模型使机器人能够正确地操作面团，实验结果表明，相比启发式方法，该方案可以将面团滚出特定长度，且操作次数减少了 60％，同时还表明利用弹性末端执行器估计刚度可以用于有效初始化模型，提高机器人性能约 40％。

Jul, 2021