我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

Dec, 2023

我们提出了一个新颖的方法，结合了基础模型的出色广化能力和高性能的少样本分类器，作为一个评分函数来选择与支持集更接近的分割，从而克服了现有性能限制，并在 Graspnet-1B 和 Ocid-grasp 数据集以及真实世界的少样本抓取合成中取得了最先进的效果。

Apr, 2024

本文提出一种基于无监督学习的密集物体描述学习方法：Dense Object Nets，可用于视觉理解和操作，适用于针对刚性和非刚性物体的各种操作任务，并能够为多个物体类别提供通用描述。

Jun, 2018

通过简单的人类示范，我们提出了一种既不需要大量标注图像，也不受特定几何形状限制的机器人抓取方法：利用一个小的 RGB-D 图像序列构建相关的手和物体网格模型，然后在当前环境中估计物体的姿态并转移所需的抓取指令。

Dec, 2021

通过几何分解目标物体为简单的凸形状并将其表示为图形结构，包括几何属性和空间关系，利用大型语言模型的常识推理能力来动态分配语义含义，并对每个分解部分在特定任务中的效用进行推理，实现了一种新颖的零样本任务导向抓取方法。通过在真实世界的机器人平台上进行广泛实验，我们证明了我们的抓取方法的分解与推理管道在 92% 的情况下能够选择正确的部分，并且在 82% 的任务中成功抓取目标物体。

Mar, 2024

该研究提出了一种名为 DiffusionCLIP 的新方法，该方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更为优异，并允许简便的多属性操作。

Oct, 2021

利用预训练的生成扩散模型直接应用于视觉定位的零阶视觉定位任务，以图文扩散模型为基础设计了一个全面的区域评分方法，证明了其在零阶视觉定位上的强大性能。

Sep, 2023

通过离线和在线阶段的两步操作，本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法，包括轨迹提取、对象检测、轨迹匹配，借助多个辅助模型验证设计决策，并在真实世界场景下进行了广泛评估。

Mar, 2024

提出了一种基于数据生成和模拟到真实世界迁移学习的机器人抓握框架，该框架通过减少模拟和实际之间的差距，解决了数据稀疏、传感器数据和接触模型不准确等问题，在单一物品、复杂形状物品和多物品的机器人抓握场景下分别获得了 90.91%、85.71% 的高成功率。

Jan, 2023

使用自我监督学习和语言监督学习的图像模型，结合精确的 3D 几何知识和丰富的 2D 语义特征，提出一种在机器人操作中填补 2D 到 3D 差距的方法，实现对未知物体的自由文本自我指定和泛化到其他物体类别的能力。

Jul, 2023