在这篇论文中，我们介绍了 RealDex—— 一个捕捉了真实灵巧手部抓握动作的先驱数据集，其中融入了人类行为模式，丰富了多视角和多模态的视觉数据。使用远程操作系统，我们实时无缝地同步人 - 机器手的姿态。这个类似人类运动的集合对于训练灵巧手更自然、更准确地模仿人类动作至关重要。RealDex 在推动人形机器人在现实世界场景中的自动感知、认知和操作方面具有巨大潜力。此外，我们介绍了一种先进的灵巧抓握动作生成框架，通过有效利用多模态的大型语言模型与人类经验相吻合，增强了其在现实世界的应用能力。大量实验证明了我们的方法在 RealDex 和其他公开数据集上的出色性能。完整的数据集和代码将在本文发表后提供。

Feb, 2024

我们提出了一种基于人手的视觉表征学习框架，用于解决复杂的巧妙操作任务，并通过强化学习的方式进行训练。

Oct, 2023

本研究提出了一种新的基于触觉的灵巧性方法，即 T-Dex，通过两个阶段的操作，采集游戏数据训练自监督触觉编码器，并结合视觉数据学习非参数策略，结果表明，在五个挑战灵巧任务中，该方法平均优于只采用视觉或扭矩的模型高达 1.7 倍。

Mar, 2023

本文提出了一种名为 DexMV（Dexterous Manipulation from Videos）的平台和管道，用于机器人的模仿学习，从而解决复杂的手部操作任务，包括计算机视觉、逆强化学习、多传感器模式等方面。

Aug, 2021

本研究设计了一个低成本的基于视觉的遥操作系统 DexPilot，透过观察裸露的人手简单操作即可完全控制拥有 23 个 DoA 的机器人系统，能够执行各种复杂的操作，收集高维度、多模态的状态 - 行动数据，为未来学习挑战性操作任务的感觉运动策略奠定基础。

Oct, 2019

该研究提出了一种基于深度传感器和一种先进的 3D 手姿估计器的模型，使用模型自由的混合强化学习和模仿学习方法训练代理来实现虚拟环境中手 - 物体交互，通过引入物理约束，使得机器人能够完成更高效的手 - 物体操作。

Aug, 2020

本文提出了 DexDeform，这是一种从人类示范中抽象出熟练操作技能并通过可微分物理学进行改进的原则性框架，该框架旨在学习多指手指对可变形物体的熟练操作，并通过新颖的探索策略以及基于想象的行动计划来提高操作的成功率。

Mar, 2023

提出了一种新的基于模仿学习的框架（DIME），借助单个 RGB 相机观察人类运营，并在多指控制策略上进行了培训，以解决机械手复杂操纵任务的挑战。

Mar, 2022

本文通过深度强化学习模型，针对转移到真实场景中遇到的困难，提出了学习可以在人形机器人手上进行灵巧操作的策略和一个稳健的姿态估计器。通过在仿真环境中训练的策略，实现了在不同环境下的适应性，并得出了比最佳视觉策略更好的结果，同时在多种硬件和仿真设置中进行了模拟实现，为后续研究提供了方便、低成本的机器人手和摄像机。

Oct, 2022

通过使用一个新型的人机协作系统，允许人类操作员与机器人共同控制机器人末端执行器，从而实现了同时进行人类示范收集和机器人操作教学，以提高数据收集效率和降低人类适应性需求。

Jun, 2024