该研究旨在回答：联合端到端训练感知和控制系统是否比单独训练每个组件提供更好的性能？通过使用卷积神经网络表示，并在一系列需要视觉和控制之间紧密协作的真实世界操纵任务上进行评估。

Apr, 2015

本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

Aug, 2017

本文提出了一种实用于实际机器人任务--如机器人操作--的深度强化学习算法，并在无人监督的情况下使用自我监督的基于模型的方法来训练预测模型，通过选择指定像素、目标图像或图像分类器作为目标设定方法，探索实现前所未见的任务和物体的普遍泛化。

Dec, 2018

该研究提出了使用Domain-agnostic Video Discriminator (DVD)的方法，通过对分类视频完成相同任务的数据进行学习，实现多任务奖励功能的广义推理。通过将人类数据集与机器人数据相结合，该方法可以在未知环境中实现机器人操作任务的成功执行。

Mar, 2021

本研究提出了基于多任务离线强化学习和亚目标规划的框架，通过先从大量数据中提取信息进行预训练，然后在视觉输入下对未知任务进行在线微调，旨在解决机器人学中多任务数据对下游任务的泛化问题。

Oct, 2022

本文提出了一种通过知识蒸馏和数据增强强化单摄像头视角下机器人操作任务的强化学习算法的方法，在模拟和现实环境下进行了实验验证并取得了良好效果。

Mar, 2023

通过大规模视频生成预训练，我们展示了基于语言条件的视觉机器人操作对于生成预训练模型的有效性扩展，提供了新的证据，显示出在多任务视觉机器人操作中，经过视频生成预训练的统一GPT风格转换器具有显著的泛化能力。

Dec, 2023

通过数据增强来解决在学习高维视觉观察中适应新环境及复杂视觉变化所面临的泛化问题，提出了学习控制感知掩码的方法以及通过预先训练的强化学习专家将知识传输给学生视觉动作策略来解决训练不稳定性问题。

Jan, 2024

本研究解决了当前机器人模型训练中的异质性问题，通过在不同的机器人数据和任务上进行异质预训练，提出了一种新的Heterogeneous Pre-trained Transformers (HPT)架构。该方法有效对齐了不同机器人身体姿态的输入，从而在多个任务中显著提高了策略的表现，尤其是在未见任务上的效率超过20%。

Sep, 2024

本研究聚焦于机器人操控中的赋予能力问题，提出了一种以赋予能力为中心的政策学习方法，通过在关键区域上集中和适当地定位任务框架，简化学习过程并提升泛化能力。我们的主要发现是，该方法能够在仅使用10个演示进行行为克隆的情况下，学习操控任务，并与基于图像的政策在305个演示下的泛化效果相当。

Oct, 2024