该研究提出 GRASP，这是一个用于评估基于视频多模式大型语言模型（LLMs）的语言理解和物理理解能力的新的基准。通过利用 Unity 模拟技术，这一评估通过两级方法完成。初始级别测试语言理解能力，通过评估模型将简单文本描述与视觉信息联系起来的能力。第二级别评估模型对直观物理原理（如物体的永恒性和连续性）的理解能力。除了发布基准系统，研究还使用它来评估几种最新的多模式 LLMs。我们的评估揭示了当前模型在语言理解和直观物理方面的重大缺陷。这些发现的限制凸显了像 GRASP 这样的基准对于监测未来模型在这些能力上的进展的重要性。

Nov, 2023

提出了一种基于数据生成和模拟到真实世界迁移学习的机器人抓握框架，该框架通过减少模拟和实际之间的差距，解决了数据稀疏、传感器数据和接触模型不准确等问题，在单一物品、复杂形状物品和多物品的机器人抓握场景下分别获得了 90.91%、85.71% 的高成功率。

Jan, 2023

通过使用 RGB-D 数据流和视觉技术，本研究提出了一种自动生成并适应新物体姿态的抓取轨迹的方法，通过将轨迹相对于物体框架进行投影，实现了在多个不同机器人设置和物体上的抓取任务的高效执行。

Oct, 2023

通过几何分解目标物体为简单的凸形状并将其表示为图形结构，包括几何属性和空间关系，利用大型语言模型的常识推理能力来动态分配语义含义，并对每个分解部分在特定任务中的效用进行推理，实现了一种新颖的零样本任务导向抓取方法。通过在真实世界的机器人平台上进行广泛实验，我们证明了我们的抓取方法的分解与推理管道在 92% 的情况下能够选择正确的部分，并且在 82% 的任务中成功抓取目标物体。

Mar, 2024

本文介绍了一个大规模机器人灵巧抓取数据集 DexGraspNet，由于我们提出的高效合成方法生成，可以普遍应用于任何灵巧的机械手。结果显示我们的数据集比以前的具有更多物体和抓取、更高的多样性和质量，并通过多个算法在本数据集上进行的训练，大幅提高了机器人灵巧抓取的准确性。

Oct, 2022

智能视觉控制系统、外科机器人、基于世界模型的深度强化学习框架、视觉运动策略以及机器人夹爪是这篇论文的关键词，该论文提出了一种用于外科手术的像素级视觉运动策略学习框架 “Grasp Anything for Surgery”（GAS），并在模拟和实际机器人中进行了广泛的评估。

May, 2024

该研究通过收集一个新的名为 GRAB 的数据集，包含 10 个零件与 51 个日常物品的互动，详细描述了人类整体抓握物品的过程。通过这个数据集，研究者运用生成式网络训练预测人类手部抓握姿态的模型，以帮助更好地理解人体与物品的互动过程。

Aug, 2020

本研究提出使用点云观测学习通用的机器人灵巧抓取，将任务分为抓取提案生成和目标条件抓取执行两个阶段，并使用目标条件抓取策略取代运动规划以提高通用性，在大规模机器人灵巧抓取数据集的平凡模型下，通过采样生成高质量多样化的抓取姿势，实现了普适性的抓取方法。

Mar, 2023

通过简单的人类示范，我们提出了一种既不需要大量标注图像，也不受特定几何形状限制的机器人抓取方法：利用一个小的 RGB-D 图像序列构建相关的手和物体网格模型，然后在当前环境中估计物体的姿态并转移所需的抓取指令。

Dec, 2021

本文提出了一种新的大型语言引导的形状抓取数据集（名为 Lang-SHAPE），用于学习 3D 部件的 affordance 和抓握能力，还设计了一种新颖的两阶段细粒度机器人抓握网络（名为 PIONEER）进行模型测试。结果表明，我们的方法在参考标识、affordance 推理和 3D 部分感知抓握方面实现了令人满意的性能和效率。

Jan, 2023