May, 2022

双目视觉强化学习实现经济有效的精细操纵和自动眼手协调

PDF
TL;DR该研究提出了一种低成本无需昂贵传感器，即可通过学习眼手协调和点对齐能力的方法解决机器人精密操作任务的算法 Binocular Alignment Learning，该算法在仿真和实际机器人测试中都达到了良好的性能。
robotic manipulationeye-hand coordinationcamera calibrationbinocular alignment learningsim2real
发现论文，激发创造
  • 工业机器人工作单元人机协作的多摄像头手眼校准

    在工业场景中，人机协作依赖于多摄像头系统来监控人工操作员，尽管机器人工作区域通常会出现遮挡。本文介绍了一种创新且强大的多摄像头手眼标定方法，旨在优化每个摄像头与机器人基坐标系以及其他摄像头之间的姿态，通过全面的实验证明了该方法优于现有技术的表现，即使只使用不到 10 张图像，并且公开发布了我们的多摄像头手眼标定算法的开源版本。

    Jun, 2024

  • 使用深度学习和大规模数据集学习机器人抓取的手眼协调

    通过卷积神经网络对单目图像进行学习，实现机器人抓握的手眼协调，并能实现实时控制、成功抓握陌生物体，以及通过连续伺服调节校正抓握错误。

    Mar, 2016

  • 手术场景中手眼转换的在线估计

    我们提出了一种基于神经网络的手眼校准方法，在机器人辅助微创手术中，从一系列图像和运动学数据估计变换，这显著简化了校准过程。该方法基于长短期记忆架构来从数据中提取时序信息，并利用线性组合的目标函数，包括运动远心点约束、重投影误差及其导数，以在手眼变换中引入微小变化。该方法通过 da Vinci Si 数据的验证 ，结果显示，估计的手眼矩阵能够在测试数据集中将末端执行器从机器人坐标重投影到相机坐标，精度均在 10 到 20 个像素以内。

    Jun, 2023

  • 人机合作：通过眼手协同人类演示学习可推广的机器人操作

    本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据，通过引入图像遮蔽的方法，提高眼手相机机器人操作策略的成功率达 58％。

    Jul, 2023

  • 机器人手眼标定：基于运动结构的方法

    本文提出了一种新的灵活的手眼标定方法，结合运动估计技术和已知机器人运动，通过线性形式求解手眼参数和结构运动方法中的未知比例因子。该方法适用于无人驾驶车辆、远程工作机器人等领域，并通过与现有方法的对比实验验证了其优越性。

    Nov, 2023

  • 基于端到端演示学习的基于视觉的廉价机器人多任务操作

    以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

    Jul, 2017

  • 基于视觉的机械臂同时需要从其手部感知视觉

    本研究发现相较于全局第三人称视角，手心视角可以提高物理操作的训练效率和泛化能力，并适用于各种算法、实验环境和分布转变。

    Mar, 2022

  • 视觉敏捷性：来自深度图像的手内灵巧操纵

    该论文介绍了一个基于强化学习的通用物体重新定位控制器，使用廉价深度相机内置单个传感器可以动态地实时重新定位复杂物体，具有在真实世界中重现的能力，且硬件成本低廉，可以使未来的技术民主化。

    Nov, 2022

  • EasyHeC：基于可微分渲染和空间探索的精确自动手眼标定

    EasyHeC 是一种新的手眼标定方法，采用无标记，白盒的方法，通过可微分渲染的摄像头姿态优化和基于一致性的关节空间探索，能够准确优化标定过程，消除手动设计机器人关节姿势的繁琐过程。通过在合成和真实的数据集上进行评估，EasyHeC 表现出优异的性能，提供精确的摄像机姿态，增强下游的操作任务。

    May, 2023

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021