Sep, 2023

动态移交：双手挥动和接住

PDF
TL;DR设计了一个系统，其中包含两只附着在机器人手臂上的多指手，用于解决机器人在高速操作、精确协作和与不同对象进行交互时面临的挑战。通过在模拟中使用多智能体强化学习训练，并进行 Sim2Real 转移以在真实机器人上实施，提供了多个创新算法设计，包括学习物体的轨迹预测模型，帮助机器人准确估计物体的移动方向并做出相应反应。通过在真实环境中使用多个物体进行实验，相较于多个基准线表现出显著改进。项目页面可在 https://binghao-huang.github.io/dynamic_handover/ 访问。
robotsmulti-finger handsmulti-agent reinforcement learningsim2real transfertrajectory prediction model
发现论文，激发创造
  • 运动约束的类人双臂机器人与人的交接

    提出了一个框架来生成运动学约束的类人双手机器人运动，以确保人与机器之间物体的顺畅和自然的交接。通过使用隐藏半马尔可夫模型（HSMM）根据观察到的人的动作生成适当的响应轨迹，通过任务空间约束调整轨迹以确保准确的递交。通过一项试点研究的结果表明，与基线逆运动学方法相比，我们的方法被认为更类似于人类。

    Feb, 2024

  • 从人类反馈学习机器人到人类的动态物体递交

    本文介绍了一种基于学习算法的动态物体移交方法，通过与人类交互学习物体移交的潜在报酬，使机器人能够自然地适应人体运动的动态，并通过上下文策略搜索来建立问题模型。

    Mar, 2016

  • 一手抓握多个物体

    该论文介绍了 MultiGrasp，一种用于多指灵巧机械手在桌面上进行多物体抓取的两阶段方法，包括生成抓前提案和执行抓取举起物体。实验结果主要集中在双物体抓取，并报告了 44.13% 的成功率，展示了对未见物体配置和不精确抓取的适应性。该框架还展示了抓取超过两个物体的能力，但推理速度较慢。

    Oct, 2023

  • 双手操作和连接的 Sim-to-Real 强化学习

    该研究探讨如何使用强化学习针对具有挑战的双臂机器人任务，通过模拟训练，实现直接传递未经过滤的观察信息到神经网络模型并保证仿真环境与实际情况一致。设计了一个基于磁力连接的联结任务，通过两个 xArm6 机器人，并在此基础上验证了该强化学习方法的可行性，对于成功拾取方块和连结任务的成功率分别达到了 100％和 65％。

    Mar, 2022

  • SynH2R：用于学习人机交接的合成手 - 物体动作

    通过引入适合训练机器人的合成数据，我们提出了一个能够生成逼真人类抓取动作的框架，通过对合成数据的纯训练，证明了我们的方法在模拟环境和真实系统中与依赖真实人类动作数据的最先进方法相媲美，并且能够扩展到更多未知物体和人类动作的大规模评估。

    Nov, 2023

  • DexCatch：学习利用灵巧手方式抓取任意物体

    我们提出了一种稳定约束强化学习算法（SCRL）来学习用灵巧的手抓取各种物体。该算法在基线算法上表现出色，并且学得的策略在未见物体上显示出强大的零样本迁移性能。值得注意的是，即使手中端面朝侧面的物体由于缺乏手掌的支持而极不稳定，我们的方法在最具挑战性的任务中仍然能够达到很高的成功率。可在补充网站上找到学习行为的视频演示和代码。

    Oct, 2023

  • 接触交接：基于接触引导的机器人到人的物品交接

    机器人到人的物体交接是许多人机协作任务中的重要一步，我们提出了一种基于接触的机器人到人交接系统 ContactHandover，它由抓取阶段和交付阶段组成，通过预测机器人抓取姿势和对象上人体接触点的三维可行性图，最大化接触点接近人类并最小化人体关节扭矩和位移，以实现更好的接触可见性和可及性。

    Apr, 2024

  • 基于语音识别的工具传递中的动态手势特征人机适应

    基于手势识别和动态动作识别的人机协作框架在 UR5e 机器人平台上展示出卓越的性能，提供了高效的工具传递，同时不显著干扰人类意图。

    Sep, 2023

  • 从点云中学习人与机器人之间的交接

    本研究提出了第一个适用于基于视觉的人机递送控制策略学习的框架，使用带动态仿真环境的两阶段教师 - 学生框架，该框架使用运动规划、抓握规划、强化学习和自我监督等方法，可以在模拟实验基准测试、模拟到模拟的转换和模拟到真实的转换中显著提高性能，同时该研究也为解决仿真人类问题提供了新的思路。

    Mar, 2023

  • 实时动态机器人辅助手 - 物体交互基于动作基元

    提出一种基于动态机器人辅助手物交互的方法，通过手部姿态估计、自适应机器人控制和运动原语的综合运用，在实现精确任务执行和适应实时动作方面提高了人机物理交互的效果。

    May, 2024