我们提出了一种方法，通过仅利用许多不同设置的少量实际交互轨迹，使机器人能够有效地学习操纵技能，并由此建立了一个基于人的视频的结构化行为空间，从而使不同的机器人能够在复杂环境下学习各种操纵技能。

Aug, 2023

本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据，通过引入图像遮蔽的方法，提高眼手相机机器人操作策略的成功率达 58％。

Jul, 2023

我们的研究旨在通过学习一种统一的基于视觉的策略，使多指机械手能够在各种姿势下操纵不同的物体。我们提出了一种新的框架 ViViDex，通过使用强化学习和轨迹引导奖励训练每个视频的基于状态的策略，从而获得视觉自然且物理可行的轨迹，并在不使用任何特权信息的情况下训练出一个统一的视觉策略，该方法通过坐标转换方法显著提升了性能，在三个灵巧操纵任务上展示出了较大的改进。

Apr, 2024

我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

Oct, 2018

通过使用预训练的视觉 - 语言模型，开发了一种简单的方法 Manipulation of Open-World Objects (MOO) 来从自然语言命令和图像中提取目标标识信息，并将机器人策略基于当前图像、指令和提取的对象信息。在一个真实的移动机械臂上进行了多种实验，发现 MOO 可以零样本推广到广泛的新对象类别和环境中。

Mar, 2023

我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

Dec, 2023

基于图像的机器人操纵系统，利用多个视角捕捉目标物体，推断深度信息以补充其几何信息，采用几何一致性融合视角，实现精确操纵决策。

Oct, 2023

以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

Jul, 2017

本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

Aug, 2017

机器人通过观察大规模人类视频学习可以增强对机器人操纵的泛化性和样本效率。

Feb, 2024