通过生成模型学习工具使用轨迹和对应工具位姿的序列，以实现对变形物体的操纵，进而提高自治系统在常见任务（如烹饪和清洁）中的智能水平。

Sep, 2023

该研究论文主要讨论了通过预测机器人手臂运动轨迹，来简化操作者的认知负荷，并在协作控制任务中提供辅助，以准确捕捉操作者的意图。研究采用一种新颖的意图估计方法称为 “机器人 Trajectron”，通过考虑手臂的动力学特征，能够更好地捕捉操作者的意图，并结合潜在目标位置的信息进行协作控制。实验证明了机器人 Trajectron 在意图估计和协作控制任务中的有效性。

Feb, 2024

通过在互联网规模的数据上训练视觉语言模型，将其直接融入端到端的机器人控制中，提高泛化能力和实现新兴的语义推理。我们提出了一种简单通用的方法，在模型训练集中直接将行动表现为文本标记，将自然语言回答和机器人行动合并到同一个格式中，从而实现了单一端到端训练模型的目标。我们将这类模型称为视觉语言行动模型（VLA），并以 RT-2 为例进行了实例化。广泛的评估结果表明，我们的方法可以得到性能优越的机器人策略，并使 RT-2 在互联网规模的训练中获得一系列新兴能力。这包括对新对象的显著改进的泛化能力，解释不在机器人训练数据中的命令（比如将物体放在特定的编号或图标上）的能力，以及对用户指令做出初步推理的能力（比如选择最小或最大的物体，或者离另一个物体最近的物体）。我们进一步说明了通过思维链式推理，RT-2 可以进行多阶段的语义推理，例如找到作为非正式锤子使用的物体（一块石头），或者适合疲劳人群的饮料类型（一种能量饮料）。

Jul, 2023

通过自我监督的模仿学习方法，使用自回归时空图神经网络进行辅助饮水任务，利用多样化的人体运动轨迹数据来生成适合 UR5e 机器臂的自然而又功能性的饮水运动轨迹。

Sep, 2023

通过使用语言动作，桥接任务和动作，实现从人类介入中学习的灵活策略，并展示了这些策略在多任务数据集上的鲁棒性和灵活性。

Mar, 2024

通过离线和在线阶段的两步操作，本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法，包括轨迹提取、对象检测、轨迹匹配，借助多个辅助模型验证设计决策，并在真实世界场景下进行了广泛评估。

Mar, 2024

本研究提出了基于多任务离线强化学习和亚目标规划的框架，通过先从大量数据中提取信息进行预训练，然后在视觉输入下对未知任务进行在线微调，旨在解决机器人学中多任务数据对下游任务的泛化问题。

Oct, 2022

利用语言指令识别机器人轨迹中的子任务，通过语言条件变点检测方法从长轨迹中找出与指令相对应的子轨迹片段，并通过实验证明了该方法在准确识别子任务方面的优越性。

Sep, 2023

本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察，以提高机器人的精准操作，并在 RLBench 基准测试中成功实现 74 项任务，还表现出对未曾见过变化的任务的良好泛化性能。

Sep, 2022

大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

Oct, 2023