VoxAct-B: 基于体素的双手操作与稳定策略
使用粗到细的离散化方法，取代不稳定，并且数据效率低的连续机器人学中的角色扮演者-评论者方法， 实现离散增强学习应用。该方法利用最近推出的ARM算法，将连续的下一个最佳姿态代理替换为离散的，采用粗到细的Q-attention方法，学习何时对场景的哪一部分进行缩放，实现对平移空间的近乎无损区分，并允许使用离散行动及深度Q-学习方法。实验表明，这种新的粗到细算法在几个困难的基于视觉的机器人任务上实现了最先进的性能，并且可以在几分钟内训练出现实世界的政策。
Jun, 2021
使用Perceiver Transformer的行为克隆代理能够有效地学习行动，实验表明其在桌面任务上优于不受结构限制的图像转行动代理和3D ConvNet基准。
Sep, 2022
ManiSkill2是SAPIEN ManiSkill基准的下一代版本，它包含20个操作任务族，2000多个物体模型和4M多演示帧，定义了一个统一的界面和评估协议，支持各种算法，视觉观察和控制器，并赋予快速视觉输入学习算法的能力。
Feb, 2023
借鉴人类，提出了一种新颖的角色分配框架：一个稳定的手臂将物体固定在原位以简化环境，而另一个执行手臂执行任务。通过BimanUal Dexterity from Stabilization (BUDS) 实现了该框架，并在真实世界的机器人上评估了其性能，在各种复杂性的四个双手任务中，仅通过20次演示，BUDS 在任务套件中实现了 76.9% 的成功率，且能够以 52.7% 的成功率推广到同一类别的不同对象。BUDS 比基于 BC 稳定策略的非结构化基线成功率提高了 56.0%，这是由于这些复杂任务所要求的高精度。
Sep, 2023
利用人类示范视频和自我监督策略微调，我们提出了一种名为ScrewMimic的框架，通过将两只手之间的相互作用建模为串行运动链形式进行双手操作，从而实现机器人学习双手操作行为。实验结果表明，ScrewMimic能够从单个人类示范视频中学习多种复杂的双手操作行为，并且在解释示范和直接在两只手的原始运动空间进行微调的基准方法上表现出更好的性能。
May, 2024
扩展RLBench以进行双手操作的模拟基准测试，提供13项新任务和23个独特的任务变体，其中每个任务要求高度的协调和适应性。通过引入多种先进方法和PerAct2语言条件行为克隆代理，实现语言处理与动作预测的高效集成，使机器人能够理解和执行用户指定目标的复杂双手任务。
Jun, 2024
本研究解决了双手操作中缺乏对交互依赖的模仿学习框架的问题，提出了一种新的方法InterACT，利用层次注意力捕捉双臂关节状态与视觉输入之间的依赖关系。实验结果表明，InterACT在多种模拟和真实世界的双手操作任务中显著优于现有方法，展示了该方法的有效性和潜在影响。
Sep, 2024
本研究针对双手操作中的依赖关系问题，提出了一种新的模仿学习框架InterACT，采用层次注意力机制捕捉双臂关节状态与视觉输入之间的相互依赖。实验表明，InterACT在多种模拟和现实世界的双手操作任务中显著优于现有方法，验证了其结构中关键组件的贡献。
Sep, 2024
本研究解决了双手操作中机器人手臂协调的复杂性以及训练数据不足的问题。提出了机器人扩散变换器（RDT），这是一个创新的扩散基础模型，能够有效表示多模态，并创建了统一的物理可解释动作空间以解决数据稀缺。实验表明，RDT在各种复杂任务中表现显著优于现有方法，具备零-shot泛化能力，能够理解语言指令，且仅需少量示例学习新技能。
Oct, 2024