从点云中学习人与机器人之间的交接
通过引入适合训练机器人的合成数据,我们提出了一个能够生成逼真人类抓取动作的框架,通过对合成数据的纯训练,证明了我们的方法在模拟环境和真实系统中与依赖真实人类动作数据的最先进方法相媲美,并且能够扩展到更多未知物体和人类动作的大规模评估。
Nov, 2023
提出了一个框架来生成运动学约束的类人双手机器人运动,以确保人与机器之间物体的顺畅和自然的交接。通过使用隐藏半马尔可夫模型(HSMM)根据观察到的人的动作生成适当的响应轨迹,通过任务空间约束调整轨迹以确保准确的递交。通过一项试点研究的结果表明,与基线逆运动学方法相比,我们的方法被认为更类似于人类。
Feb, 2024
本研究提出了 GenH2R 框架,用于学习通用的基于视觉的人到机器人交接技能,通过大规模的模拟环境和模仿学习的方法,实现了超过现有模拟器数量三个数量级的 H2R 交接模拟环境和高质量演示,通过 4D 模仿学习方法在模拟器和实际中取得了至少 10%的成功率改进。
Jan, 2024
该研究提出了一种有效的深度学习机器人抓取小圆球的方法,并将整个系统分解为视觉模块和闭环控制器模块两部分来实现。通过在真实背景图像和模拟图像之间进行有效领域转移来训练视觉模块,并使用模仿学习在仿真环境中对闭环控制器进行训练,从而实现了对未知情况的抓取成功率达到了 90%。
Dec, 2017
本文介绍了一种基于学习算法的动态物体移交方法,通过与人类交互学习物体移交的潜在报酬,使机器人能够自然地适应人体运动的动态,并通过上下文策略搜索来建立问题模型。
Mar, 2016
本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据,通过引入图像遮蔽的方法,提高眼手相机机器人操作策略的成功率达 58%。
Jul, 2023
我们提出了基于强化学习的人到仿真向人型机器人 (人到人型机器人,H2O) 的框架,通过仅使用一个 RGB 摄像机实现了全尺寸人型机器人的实时全身遥操作。我们使用可行运动模拟器提出了一个可扩展的 “仿真到数据” 过程,以创建用于人型机器人的大规模运动数据集,并在仿真中训练一个稳健的全身运动模拟器,然后以零样本的方式将其转移到实际人型机器人上,实现了在真实场景中的动态全身动作遥操作,包括行走、后跳、踢球、转身、挥手、推动、拳击等。据我们所知,这是实现基于学习的实时全身人型机器人遥操作的第一个演示。
Mar, 2024
本论文介绍了如何通过微进化强化学习的方法,将人类操作技能转移到商业机器人上,同时提出了多维进化路径搜索算法以及专家人类代理政策的转移,通过实验验证了该框架的有效性。
Dec, 2022
虚拟现实在多个领域中得到了证明:从游戏、医学和培训到人机协作界面的开发,它能够帮助设计师在超越真实环境限制的情况下探索应用,并开发创新的解决方案和体验。对于在虚拟领域借助自然而直观的手势实现协同机器人操作,需要创建大量的数据集,以便使工作界面易于学习和灵活添加手势。由于计算或经济限制,这可能具有一定的挑战性,因此将在真实环境中表现良好的深度学习模型调整到虚拟领域可能是解决方案。本文提出了一个系统的框架,通过虚拟数据集的有限大小实现从真实到虚拟的适应,并提供了创建策划数据集的指导方针。最后,虽然手势被视为通信模式,但所提供的指南和建议是通用的,适用于其他模式,如身体姿势和面部表情,这些模式在真实领域中有大量可用的数据集,需要适应到虚拟领域。
Jul, 2023