本文研究了如何在具有自碰撞、奇异问题等机器人特定约束条件下解决多视角视觉伺服问题，并提出了一种基于学习的多视角视觉伺服框架，通过强化学习从视觉状态的潜在空间表示中迭代估计机器人动作。通过 Gazebo 仿真环境的实验验证，显示该方法能够成功学习到给定不同视角下初始图像的最优控制策略，且平均成功率达到 97.0%，优于直接视觉伺服算法。

Dec, 2023

该研究使用深度递归控制器训练机器人完成视觉伺服技能并解决了在遇到视觉扭曲时的模糊性问题。研究者使用模拟数据和强化学习目标进行了训练，证明了该模型可在真实的机器人手臂上操作。

Dec, 2017

我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

Oct, 2018

本文基于学习的视觉特征、学习的预测动态模型和强化学习相结合的方法，研究了视觉伺服机制的学习。通过在学习到的视觉特征空间内，代替图像像素和手动设计的关键点，我们演示了该方法可以在样本效率方面获得两个数量级以上的提高，并在复杂的合成汽车跟踪基准测试中表现出了显著的改进。

Mar, 2017

该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

Jan, 2022

本文提出了一种基于卷积神经网络的方法，针对软臂在结构化环境下实现视觉伺服平稳可靠的 3D 定位，通过神经网络对所需的位置控制器进行预测并使用比例控制法减少误差。

Feb, 2022

该研究提出了一种模型无关的深度强化学习方法，利用少量的演示数据来协助强化学习代理。作者将该方法应用于机器人操作任务并训练了端到端的视觉 - 动力学策略，直接从 RGB 相机输入到关节速度。实验结果表明，与仅使用强化学习或模仿学习训练代理的结果相比，作者的强化和模仿代理取得了显著的性能提高。此外，这些训练有素的策略在模拟到现实世界的零样本情况下也能获得初步的成功。

Feb, 2018

以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

Jul, 2017

本文提出了一种利用几何任务结构进行表示学习的方法，通过人类演示视频学习视觉观察的表征，并通过建立不同类别物体之间的任务说明对应来实现任务的泛化，从而不需要额外的机器人训练或预先录制的机器人运动来实现在机器人上的任务学习。

Feb, 2022

本文介绍了一种基于梯度的反向强化学习框架，利用预训练的视觉动态模型从视觉人类演示中学习成本函数，并通过视觉模型预测控制来复制演示行为，以解决机器人操作中的未知动力学等问题。我们在两个基本的对象操作任务上评估了我们的框架。

Oct, 2020