通过学习深度的感知动作策略，使用对比学习从输入图像中提取固定特征表示，通过两阶段的作弊式学习框架训练神经网络策略，将视觉驱动的自主无人机竞赛问题转化为了提取原始图像的特征表示进行控制命令推断，无需全局一致的状态估计、轨迹规划和手工控制设计。该方法不仅可使控制策略更具有鲁棒性，而且可以实现与状态法相同的赛车性能，为开发纯靠图像输入控制无人机的智能视觉自主系统铺平了道路。

Oct, 2022

本文介绍了计划辅助控制 (SAC-X)，一种新的强化学习学习范例，它可以在多重稀疏奖励信号存在的情况下从零开始学习复杂的行为，并在具有挑战性的机器人控制环境中得到了实验证明。

Feb, 2018

我们运用多智能体深度强化学习（RL）通过自我中心的 RGB 视觉训练端到端的机器人足球策略，解决了现实世界机器人领域中的许多挑战，包括主动感知、灵活的全身控制和长时间跨度的计划等。该论文是首次展示了通过将原始像素观测映射到关节级动作的端到端多智能体机器人足球的训练，并能够在真实世界中部署。

May, 2024

以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

Jul, 2017

提出了一种基于模型的强化学习策略，通过训练可转移机器人感知的世界动力学模型和机器人特定的动力学模型，从而利用以前在其他机器人上收集的数据来减少对机器人特定数据的需求，并在模拟和实际机器人上实现了视觉控制任务上的零泛化

Jul, 2021

本文提出了一种实用于实际机器人任务 -- 如机器人操作 -- 的深度强化学习算法，并在无人监督的情况下使用自我监督的基于模型的方法来训练预测模型，通过选择指定像素、目标图像或图像分类器作为目标设定方法，探索实现前所未见的任务和物体的普遍泛化。

Dec, 2018

本文提出了一种基于强化学习的方法，用于合成具有丰富感知模态（例如视觉或深度）的机器人系统的任务驱动控制策略。该方法学会创建一种任务驱动表示来计算控制动作，以实现控制动作仅依赖任务相关信息。实验结果表明，我们的算法产生的任务驱动策略通常比标准策略梯度方法更加鲁棒性。

Feb, 2020

本文研究基于深度学习和强化学习方法的视觉自主驾驶技术，提出了一种将视觉控制系统拆分为感知模块和控制模块的方法，并针对数据效率提出了基于 TORCS 的深度强化学习模拟环境。实验结果表明，感知模块表现良好，控制器实现了对车辆的良好控制。

Oct, 2018

本文介绍了一种基于机器学习的系统，用于仅基于视觉感知控制机器人操作器。首次展示了只从原始像素图像学习机器人控制器的能力，而不需要对配置有任何先前知识。我们建立在最近深度强化学习的成功基础之上，并开发出一种利用外部视觉观察学习三关节机器人操作器目标到达的系统。经过在仿真中的训练后，Deep Q 网络（DQN）被证明能够执行目标到达。将网络转移到真实硬件和真实观察的朴素方法失败了，但实验证明在用合成图像代替相机图像时，网络可以正常工作。

Nov, 2015

研究了机器人感知运动控制策略的广义学习问题，提出了一种称为 GPLAC 的方法来提高机器人策略的泛化能力，结合多任务学习和辅助二进制分类目标，通过卷积神经网络和注意力机制，将交互数据与弱标记的数据集相结合，大大提高了对未知环境的泛化能力。

Aug, 2017