通过引入新颖的机器人操作方法，利用多模态大型语言模型（MLLMs）的强大推理能力，增强操作的稳定性和泛化能力。我们采用 fine-tuning 方法，在保留 MLLM 的常识和推理能力的同时，为其提供操作能力。实验结果表明 ManipLLM 在模拟器和真实环境中均有出色表现。

Dec, 2023

基于物理约束的手 - 物体重构模型，利用合成数据集 ObMan 进行模型训练和验证，达到手 - 物交互场景下的稳定手部姿势和可行物体形状重构。

Apr, 2019

该论文介绍了一种从物体形状和接触中进行功能性抓握合成的框架，成果能用于不同手模型的功能抓握合成，该方法是基于人体接触示范的数据集进行的。

Apr, 2019

本文提出了一种基于语言根据分割掩模的新型范例，来应对日常情况下一系列的抓取和放置机器人操作任务，通过将从掩模中传达的精确语义和几何形状与我们的多视点策略模型相结合，使我们的方法能够感知准确的物体姿态并实现样本高效学习。

Jun, 2023

本篇研究通过介绍一种新的中间变量来提高三维抓取合成的效率，以解决现有方法想要直接从物体映射到抓取姿势的非光滑和低效问题，并提出了一种基于接触区域的因子图形式来描述抓取姿态生成过程，并通过实验验证了优化方法的有效性。

Oct, 2022

本文提出基于对象接触点和手接触点的一致性设计新目标模型以及自我监督任务来生成人类手的抓取姿态，实验证明该模型在人类手抓取方面比其他最先进方法有了显著的提升，特别是在测试过程中对未见过和超出领域的物体表现出更大的增益。

Apr, 2021

基于大型语言模型（LLMs）的研究表明，通过合适的动作空间重新参数化，包括遵守与交互力和刚度相关的约束条件，能够成功地生成用于接触丰富和高精度操纵任务的策略，即使在噪声条件下也有效。

Apr, 2024

该研究针对机器人在重复环境中的可操作性，提出一种基于物理模拟器的动态规划算法，结合多智能体路径规划的思想，用于实现机械臂动作计划与可移动物体状态变化之间的交互式自主调整。

Mar, 2023

Manipulate-Anything 是一种可扩展的自动化生成方法，在没有特权状态信息、手动设计的技能的情况下，在真实环境中操作任何静态物体，其生成的演示数据可以用于生成鲁棒的行为克隆策略。

Jun, 2024

建立具有普适性的通用机器人系统一直是人工智能领域的长期目标。本研究调查了如何将自然语言处理（NLP）和计算机视觉（CV）领域的基础模型应用于机器人领域，并探讨了构建面向机器人的基础模型的可能形式，以及使用基础模型实现通用机器人系统所面临的主要挑战和未来方向。

Dec, 2023