该研究论文介绍了一种使用密集二进制力传感器获取触觉信息的设计，使得多指机器人手能够进行离线物体旋转，无需依赖于视觉信息，通过强化学习的方法进行培训，能够扩展到实际场景中，并对触觉信息对于手部操纵的帮助进行了广泛的实验。

Mar, 2023

我们介绍了 RotateIt，这是一个通过利用多模式感知输入实现多轴指尖物体旋转的系统。系统在模拟环境中训练，可以访问物体的真实形状和物理属性，然后通过模拟的视觉触觉和本体觉感知输入进行操作。通过触视觉变压器将多模态输入融合，实现了部署过程中对物体形状和物理属性进行在线推断，显示出较之前方法的显著性能改进以及视觉和触觉感知的重要性。

Sep, 2023

本文介绍了使用自适应控制器和动态调整策略训练的机器人手指智能旋转物体的方法，该方法只需要使用手指就可以对各种大小、形状和重量的物体进行旋转，具有很好的稳定性和自适应性，为机器人手部操作的研究提供了一个新思路。

Oct, 2022

该论文介绍了一个基于强化学习的通用物体重新定位控制器，使用廉价深度相机内置单个传感器可以动态地实时重新定位复杂物体，具有在真实世界中重现的能力，且硬件成本低廉，可以使未来的技术民主化。

Nov, 2022

本文提出了一个简单的、无模型的框架，可以学习如何重新定向物体，展示了超过 2000 种几何不同的物体在不同情况下的重新排列能力，并证明了此策略能够在真实世界中可行的证据。

Nov, 2021

本文旨在训练一个模拟器中的接触利用操纵策略，以便在没有进行任何微调的情况下传输到实际机器人中，实验结果表明我们的策略比启发式和学习基线表现出更好的性能和泛化能力，同时也可以对不同尺寸和重量的盘子进行操纵，并探索了零点转移所需的各种因素。

Jan, 2023

使用触觉传感器，并通过模型无关的深度强化学习方法实现力量控制，能够在仿真环境中进行训练，然后转移到实际机器人上，实现模拟到实际的迁移。

Nov, 2023

该论文介绍了 MultiGrasp，一种用于多指灵巧机械手在桌面上进行多物体抓取的两阶段方法，包括生成抓前提案和执行抓取举起物体。实验结果主要集中在双物体抓取，并报告了 44.13% 的成功率，展示了对未见物体配置和不精确抓取的适应性。该框架还展示了抓取超过两个物体的能力，但推理速度较慢。

Oct, 2023

生成逼真的手部动作序列与物体的交互在数字人方面越来越受到关注，之前的工作已经证明了利用基于占据或基于距离的虚拟传感器来提取手物体交互特征的有效性，但是这些方法在物体类别、形状和大小方面的泛化能力有限。为了解决这个挑战，我们引入了一种新颖的以关节为中心的传感器，用于推理潜在交互区域附近的局部物体几何。该传感器查询每个手关节附近的物体表面点。我们通过将点从全局坐标系转换为手部模板坐标系，并使用共享模块处理每个独立关节的传感器特征来减少学习复杂性。然后，我们使用时空转换网络捕捉不同维度中关节之间的相关性。此外，我们设计了简单的启发式规则，以扩充有限的训练序列，增加丰富的静态手抓取样本。这样在训练过程中观察到更广泛的抓取类型，从而增强了我们模型的泛化能力。我们在两个公开数据集 GRAB 和 InterCap 上进行评估，结果表明我们的方法在定量和感知上都优于基线模型。

Apr, 2024

本文通过深度强化学习模型，针对转移到真实场景中遇到的困难，提出了学习可以在人形机器人手上进行灵巧操作的策略和一个稳健的姿态估计器。通过在仿真环境中训练的策略，实现了在不同环境下的适应性，并得出了比最佳视觉策略更好的结果，同时在多种硬件和仿真设置中进行了模拟实现，为后续研究提供了方便、低成本的机器人手和摄像机。

Oct, 2022