本文介绍了一种基于机器学习的系统，用于仅基于视觉感知控制机器人操作器。首次展示了只从原始像素图像学习机器人控制器的能力，而不需要对配置有任何先前知识。我们建立在最近深度强化学习的成功基础之上，并开发出一种利用外部视觉观察学习三关节机器人操作器目标到达的系统。经过在仿真中的训练后，Deep Q 网络（DQN）被证明能够执行目标到达。将网络转移到真实硬件和真实观察的朴素方法失败了，但实验证明在用合成图像代替相机图像时，网络可以正常工作。

Nov, 2015

本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

Oct, 2016

该研究提出了一种用于机器人抓取的闭环控制器的学习方法，该方法使用卷积神经网络学习关于图像的真实抓取的距离函数，可以应对虚拟和真实噪声传感器图像中的机械误差，感知误差和抓握时物体的不确定性。

Jun, 2017

本文提出了一种基于卷积神经网络的方法，针对软臂在结构化环境下实现视觉伺服平稳可靠的 3D 定位，通过神经网络对所需的位置控制器进行预测并使用比例控制法减少误差。

Feb, 2022

该研究提出了一种有效的深度学习机器人抓取小圆球的方法，并将整个系统分解为视觉模块和闭环控制器模块两部分来实现。通过在真实背景图像和模拟图像之间进行有效领域转移来训练视觉模块，并使用模仿学习在仿真环境中对闭环控制器进行训练，从而实现了对未知情况的抓取成功率达到了 90％。

Dec, 2017

本文提出了一种实用于实际机器人任务 -- 如机器人操作 -- 的深度强化学习算法，并在无人监督的情况下使用自我监督的基于模型的方法来训练预测模型，通过选择指定像素、目标图像或图像分类器作为目标设定方法，探索实现前所未见的任务和物体的普遍泛化。

Dec, 2018

本文提出了使用端到端的控制方法和领域随机化训练卷积神经网络，实现机器人对多阶段任务的执行。结果表明，此方法在真实环境中能够成功执行任务并推广到新环境。

Jul, 2017

以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

Jul, 2017

通过多任务强化学习方法，本文在真实机器人上实现了视觉导向控制策略的快速训练技术，并在模拟和真实世界的 Ball-in-a-Cup 游戏中进行了测试。

Feb, 2019

该研究提出了一种自监督视觉深度强化学习方法，使得机器人可以有效地在模拟环境和真实环境之间直接转移训练模型，并特别设计了一种高度敏感的行动策略用于处理拥挤和堆叠的物体，实验证明即使没有经过实际环境微调，该模型在真实吸附任务中的吸附成功率也能保持较高，还能在真实实验中吸附新物体并保持 90% 的成功率。

Sep, 2023