利用加权损失函数对模块化网络进行调整实现手眼协调
通过卷积神经网络对单目图像进行学习，实现机器人抓握的手眼协调，并能实现实时控制、成功抓握陌生物体，以及通过连续伺服调节校正抓握错误。
Mar, 2016
设计了一个模块化框架，使机器人手臂系统能学习如何捕捉飞行物体，通过监督学习和深度强化学习训练模块，实现了高成功率的空中抓取和对干扰和传感器噪声的鲁棒性。
Dec, 2023
以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。
Jul, 2017
该研究提出了一种低成本无需昂贵传感器，即可通过学习眼手协调和点对齐能力的方法解决机器人精密操作任务的算法 Binocular Alignment Learning，该算法在仿真和实际机器人测试中都达到了良好的性能。
May, 2022
我们提出了一种基于神经网络的手眼校准方法，在机器人辅助微创手术中，从一系列图像和运动学数据估计变换，这显著简化了校准过程。该方法基于长短期记忆架构来从数据中提取时序信息，并利用线性组合的目标函数，包括运动远心点约束、重投影误差及其导数，以在手眼变换中引入微小变化。该方法通过 da Vinci Si 数据的验证 ，结果显示，估计的手眼矩阵能够在测试数据集中将末端执行器从机器人坐标重投影到相机坐标，精度均在 10 到 20 个像素以内。
Jun, 2023
在工业场景中，人机协作依赖于多摄像头系统来监控人工操作员，尽管机器人工作区域通常会出现遮挡。本文介绍了一种创新且强大的多摄像头手眼标定方法，旨在优化每个摄像头与机器人基坐标系以及其他摄像头之间的姿态，通过全面的实验证明了该方法优于现有技术的表现，即使只使用不到 10 张图像，并且公开发布了我们的多摄像头手眼标定算法的开源版本。
Jun, 2024
本文提出了通过优化构建 mixup 数据的最佳方法以获得更好的神经网络推广性能和对数据干扰的鲁棒性，特别是使用基于模块化近似的迭代次模最小化算法来实现有效的 mixup 计算。
Feb, 2021
该研究旨在回答：联合端到端训练感知和控制系统是否比单独训练每个组件提供更好的性能？通过使用卷积神经网络表示，并在一系列需要视觉和控制之间紧密协作的真实世界操纵任务上进行评估。
Apr, 2015
本文介绍了一个多模态移动远程操作系统，其由一种新颖的基于视觉的手部姿态回归网络（Transteleop）和一种基于 IMU 的臂部追踪方法组成，并使用低成本深度摄像头观察人手，并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像，同时具备同时手 - 臂控制的可穿戴相机支架，关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处，并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。
Mar, 2020