Nov, 2022

视觉敏捷性：来自深度图像的手内灵巧操纵

PDF
TL;DR该论文介绍了一个基于强化学习的通用物体重新定位控制器，使用廉价深度相机内置单个传感器可以动态地实时重新定位复杂物体，具有在真实世界中重现的能力，且硬件成本低廉，可以使未来的技术民主化。
in-hand object reorientationdexterous manipulationreinforcement learningreal-world deploymentcommodity depth camera
发现论文，激发创造
  • 通用手持物体重定向系统

    本文提出了一个简单的、无模型的框架，可以学习如何重新定向物体，展示了超过 2000 种几何不同的物体在不同情况下的重新排列能力，并证明了此策略能够在真实世界中可行的证据。

    Nov, 2021

  • 学习灵巧的手中操纵

    通过强化学习，我们使用模拟环境训练了一种可以使机器人手指进行多指协调、操纵物体并控制重力的新型算法，并且证明该算法可以成功地应用在实物机器人中，为机器人控制领域提供了新的解决方案。

    Aug, 2018

  • 基于图像的熟练操作：通过细化引导实现自主现实世界强化学习

    本文提出了一种基于视觉的程序自由编程的方法，利用强化学习实现复杂多指手势下的实物操作，无需手动建模或奖励工程。

    Dec, 2022

  • DeXtreme: 从模拟到现实的敏捷手持操作转移

    本文通过深度强化学习模型，针对转移到真实场景中遇到的困难，提出了学习可以在人形机器人手上进行灵巧操作的策略和一个稳健的姿态估计器。通过在仿真环境中训练的策略，实现了在不同环境下的适应性，并得出了比最佳视觉策略更好的结果，同时在多种硬件和仿真设置中进行了模拟实现，为后续研究提供了方便、低成本的机器人手和摄像机。

    Oct, 2022

  • 通过快速电机适应实现手中物体的旋转

    本文介绍了使用自适应控制器和动态调整策略训练的机器人手指智能旋转物体的方法，该方法只需要使用手指就可以对各种大小、形状和重量的物体进行旋转，具有很好的稳定性和自适应性，为机器人手部操作的研究提供了一个新思路。

    Oct, 2022

  • 非视觉状态下的旋转：通过触感增强手部灵巧性

    该研究论文介绍了一种使用密集二进制力传感器获取触觉信息的设计，使得多指机器人手能够进行离线物体旋转，无需依赖于视觉信息，通过强化学习的方法进行培训，能够扩展到实际场景中，并对触觉信息对于手部操纵的帮助进行了广泛的实验。

    Mar, 2023

  • 深度动态模型用于学习灵巧操作

    本文介绍了一种在线规划深度动力学模型的方法，通过这种方法，使用少量真实世界的数据即可进行柔性接触的灵巧操作技能的有效学习，并成功应用于 24 个自由度类人手上。

    Sep, 2019

  • 面向任务的手部运动重新定位用于熟练操控模仿

    使用手势姿态估计器采集到的人手信息，结合逆运动学和 PSO 算法解决手姿态到 29 个自由度手模型的映射问题，以增加进行虚拟物体操作任务成功率，进而使用全部操作过程数据通过生成对抗性模仿学习训练出可用于虚拟现实中的抓握策略网络。

    Oct, 2018

  • 从人类抓握机会学习具有普适性的熟练操作

    本研究提出了使用大规模演示学习熟练操作多指手来处理机器人学中最具挑战性的问题。 主要采用人类抓握可行性模型生成 3D 物体演示，以实现策略的泛化。同时，本研究使用了新颖的模仿学习目标，以及几何表示学习目标，通过在仿真系统中重新定位多样的对象以证明本方法的有效性。

    Apr, 2022

  • ReorientBot: 物体定向学习，用于特定姿态的放置

    本文介绍了一个基于视觉的机器人操作系统，能够通过姿态估计和体积重建实现物体重新定位，并通过学习的路径选择和传统的运动规划生成无碰撞路径，从而成功和高效地完成对物体的操作和重构，实现了机器人操作的自主化，成功率提高了 81％，执行时间提高了 22％。

    Feb, 2022