使用Perceiver Transformer的行为克隆代理能够有效地学习行动，实验表明其在桌面任务上优于不受结构限制的图像转行动代理和3D ConvNet基准。

Sep, 2022

借鉴人类，提出了一种新颖的角色分配框架：一个稳定的手臂将物体固定在原位以简化环境，而另一个执行手臂执行任务。通过BimanUal Dexterity from Stabilization (BUDS) 实现了该框架，并在真实世界的机器人上评估了其性能，在各种复杂性的四个双手任务中，仅通过20次演示，BUDS 在任务套件中实现了 76.9% 的成功率，且能够以 52.7% 的成功率推广到同一类别的不同对象。BUDS 比基于 BC 稳定策略的非结构化基线成功率提高了 56.0%，这是由于这些复杂任务所要求的高精度。

Sep, 2023

利用大型语言模型（LLM）的语言感知和上下文学习能力，开发了基于LLM的双手动作协调系统（LABOR Agent），用于解决双手操作任务的时空协调问题，并通过在仿真环境中测试实验证明其接近最优性能。

Apr, 2024

利用人类示范视频和自我监督策略微调，我们提出了一种名为ScrewMimic的框架，通过将两只手之间的相互作用建模为串行运动链形式进行双手操作，从而实现机器人学习双手操作行为。实验结果表明，ScrewMimic能够从单个人类示范视频中学习多种复杂的双手操作行为，并且在解释示范和直接在两只手的原始运动空间进行微调的基准方法上表现出更好的性能。

May, 2024

本文介绍了一种适用于双手操作的新型关键姿势条件一致性策略，该策略以层次化的模仿学习框架为基础，通过预测关键姿势指导轨迹生成，并在一阶段任务完成时标记，通过快速推理生成行动序列，实验结果表明该方法在成功率和操作效率方面优于基线方法。

Jun, 2024

VoxAct-B是一种基于语言驱动的基于体素的方法，通过利用视觉语言模型（VLMs）优先考虑场景中的关键区域并重建一个体素网格，在仿真和真实世界的实验中，VoxAct-B在精细双臂操纵任务上表现优异，实现了更高效的策略学习。

Jul, 2024

本研究解决了双手操作中缺乏对交互依赖的模仿学习框架的问题，提出了一种新的方法InterACT，利用层次注意力捕捉双臂关节状态与视觉输入之间的依赖关系。实验结果表明，InterACT在多种模拟和真实世界的双手操作任务中显著优于现有方法，展示了该方法的有效性和潜在影响。

Sep, 2024

本研究针对双手操作中的依赖关系问题，提出了一种新的模仿学习框架InterACT，采用层次注意力机制捕捉双臂关节状态与视觉输入之间的相互依赖。实验表明，InterACT在多种模拟和现实世界的双手操作任务中显著优于现有方法，验证了其结构中关键组件的贡献。

Sep, 2024

本研究解决了双手操作中机器人手臂协调的复杂性以及训练数据不足的问题。提出了机器人扩散变换器（RDT），这是一个创新的扩散基础模型，能够有效表示多模态，并创建了统一的物理可解释动作空间以解决数据稀缺。实验表明，RDT在各种复杂任务中表现显著优于现有方法，具备零-shot泛化能力，能够理解语言指令，且仅需少量示例学习新技能。

Oct, 2024

本研究针对现有语言引导机器人操控模型无法有效揭示指令与低级可执行动作之间关系的问题，提出了一种以途径为中心的世界模型PIVOT-R。通过原语驱动的途径预测和轻量级动作预测模块实现任务相关途径的有效识别，PIVOT-R在SeaWave基准测试中相较于现有最先进模型平均提高19.45%，并且使用异步分层执行器提高了28倍的执行效率，且性能仅下降2.9%。

Oct, 2024