我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

Oct, 2018

人类具有内在的通用视觉表征，使其能够高效地探索和与环境进行物体操控。本研究提出使用多任务微调的方式在经过预训练的视觉编码器上学习感知技能，通过任务融合解码器指导表示学习，使得对于所有感知技能来说，学习编码的结构能够更好地表示重要信息，最终为下游的机器人操控任务提供帮助。大量实验验证了任务融合解码器在多个机器人任务和仿真及现实环境中对于三种最先进的视觉编码器（R3M、MVP 和 EgoVLP）的表示进行了改进，提升了下游操控策略的学习性能。

Oct, 2023

通过一个基于视频的条件学习智能体（ViP）方法，本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法，该方法在多项机器人操作环境中的表现优于现有技术，并在新的零样本设置中展现出良好的性能，可能具有广泛的应用前景。

May, 2023

本文探讨了如何通过自主机器人与环境进行交互，获得适用于机器人操纵任务的有效物体中心表示，无需人为标注。基于对象持久性的表示学习方法能够随着机器人收集更多经验，不断改进表示，从而可以在无需人为干预的情况下扩展规模。我们的实验表明，这种自我监督方法显着优于直接从图像进行强化学习和先前的表示学习方法。

Nov, 2018

该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

Jan, 2022

本文通过模仿学习的方式解决在复杂情况下通过学习实现物体操作技能的问题，提出了一种可以应用于各项任务的无先验奖励的泛化策略学习方法，并通过几个关键技术，包括生成式对抗自我模仿学习、不断完善的判别器和平衡专家池中的实例，显著提高了分类水平操作策略学习的效率和泛化能力。实验结果在 ManiSkill 基准测试中都有明显改善。

Mar, 2022

通过使用神经任务图网络作为中间表示，我们成功地在两个复杂任务中将任务的组成结构显式融合到模型中，从而实现任务间的泛化，提高数据效率以及无需密集分层监督而实现强泛化能力，并在 JIGSAWS 手术数据集上展示了良好的任务结构预测性能。

Jul, 2018

本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化，当扩展真实机器人的数据采集到 100 个不同的任务时，我们发现此系统可以实现 24 个未见过的操作任务，平均成功率为 44%。

Feb, 2022

本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

Aug, 2017

研究对象学习通用设置，构建代理可从第三人称的视频中学习并操作未见过的物体，通过分层式结构实现，高级模块生成子目标序列，低级控制器实施，无需完整状态信息，实验展示在 Baxter 机器人上完成倒和放置物体等操作。

Nov, 2019