本研究介绍了一种在深度强化学习循环中嵌入面向对象视觉助力模型的方法，以学习优先选择与人类喜欢的对象区域相同的抓握策略，实现对物体的灵活抓握能力。通过40个物体的实验，表明该方法可以显著提高抓握策略效能，泛化能力较强，比普通基线方法的训练速度更快，且更能适应噪声传感器。
Sep, 2020
本文提出了DexVIP，一种从人 - 物体交互中学习灵巧机器人抓取的方法，并在30自由度的模拟机器人手上进行了27个物体的实验，证明DexVIP比现有方法快速且更具效率。
Feb, 2022
提出了基于PLEX架构的机器人操作学习方法，该方法通过任务无关的视觉运动轨迹和大量的对象操作视频训练机器人学习任务无关的多任务策略，并在相应实验中展示了其在机器人学习中的高效性能。
Mar, 2023
使用直接的人类反馈通过视频来学习通用的人类先验，实现20种双手机器人操作任务中RL策略的高效调整，不需要进行人类演示，任务无关的奖励模型通过生成多样化策略并收集人类偏好进行训练。本方法在各种任务中表现出更接近人类行为的结果，甚至适用于未见过的任务，证明了其泛化能力。
Apr, 2023
本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据，通过引入图像遮蔽的方法，提高眼手相机机器人操作策略的成功率达58％。
Jul, 2023
我们提出了一种基于物理的方法来合成全身手物交互。通过通过一个层次化框架，并结合强化学习和物理仿真，我们首先在解耦环境中学习身体和手部运动的技能先验。然后，我们使用一个新颖的奖励函数训练一个高层策略，以在预训练的潜在空间中控制手物交互。我们的方法成功完成了从接近物体到抓取和后续操纵的完整交互任务，并展示出比基于运动学的基线方法更具物理合理性的动作。
Sep, 2023
我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。
Dec, 2023
通过预测交互进行操纵的学习，提取可视化表示，并且在真实世界和仿真环境中实现了10%至64%的显著性改进。
Jun, 2024
在这篇论文中，我们提出了一种视觉-运动策略学习框架，该框架在给定任务的人类示范中对视频扩散模型进行微调。在测试阶段，我们生成了一个以新颖场景的图像为条件的任务执行示例，并直接使用这个合成的执行结果来控制机器人。我们的主要观点是，使用常用工具可以轻松地弥合人手和机器人操作者之间的具身隔阂。我们在四个复杂度不断增加的任务上评估了我们的方法，并证明利用互联网规模的生成模型使得学习策略可以比现有行为克隆方法实现更高程度的泛化。
本研究解决了当前生成模型在行动条件下无法进行物体操作的问题，通过学习人手与物体交互的无标签视频，提出了一种新的作用条件生成模型CosHand。研究表明，该模型能够准确预测手与物体交互的效果，并且对未知物体和环境具有很强的泛化能力，具备广泛的应用潜力，尤其在机器人领域中表现出色。
Aug, 2024