Sep, 2024

CtRNet-X：在真实环境条件下使用单个相机进行相机到机器人姿态估计

HTML
PDF
TL;DR本研究解决了现有无标记姿态估计方法在机器人部分可见情况下失败的问题。我们提出了一种新颖的框架，结合视觉-语言模型和关键点姿态估计网络，能够在多变的操作条件下进行更稳健的机器人姿态估计。该方法在公共机器人数据集和自收集的部分视图数据集上进行评估，显示出其在真实操作场景中的有效性和广泛适用性。
发现论文，激发创造
  • 主动姿态估计的领域随机化

    本文研究如何通过活动感知训练改进基于域随机化的姿态估计方法，通过移动机器人获取更精准的目标位姿信息，并展示在机器人手持物品移动、环境中参考物体移动或者摄像头在物品周围移动的多种场景下能够显著提高标准姿态估计的准确度。

    Mar, 2019

  • 基于渲染和比较的单视图机器人姿势和关节角度估计

    RoboPose是一种从单个RGB图像估计已知关节机器人的关节角度和6D相机到机器人姿态的方法，可用于协作机器人，并使用合成数据进行训练，性能超过现有的技术。

    Apr, 2021

  • 基于自监督的模拟到现实迁移的无标记相机与机器人姿态估计

    提出了一种端到端的姿态估计框架，结合深度学习和几何视觉解决机器人姿态的问题，并利用自我监督的方法以及深度学习的技术训练神经网络，最终在真实环境的两个公共数据集上验证了该方法的有效性，并将其应用于视觉伺服系统中。

    Feb, 2023

  • EasyHeC：基于可微分渲染和空间探索的精确自动手眼标定

    EasyHeC是一种新的手眼标定方法，采用无标记，白盒的方法，通过可微分渲染的摄像头姿态优化和基于一致性的关节空间探索，能够准确优化标定过程，消除手动设计机器人关节姿势的繁琐过程。通过在合成和真实的数据集上进行评估，EasyHeC表现出优异的性能，提供精确的摄像机姿态，增强下游的操作任务。

    May, 2023

  • 机器人手眼标定：基于运动结构的方法

    本文提出了一种新的灵活的手眼标定方法，结合运动估计技术和已知机器人运动，通过线性形式求解手眼参数和结构运动方法中的未知比例因子。该方法适用于无人驾驶车辆、远程工作机器人等领域，并通过与现有方法的对比实验验证了其优越性。

    Nov, 2023

  • 实时全面的未知状态机器人姿态估计

    通过单个RGB图像进行实时机器人姿态估计的端到端流程，无需已知机器人状态，并达到了领先水平的12倍速度提升。

    Feb, 2024

  • ManiPose：机器人中姿态感知物体操作的全面基准

    ManiPose是一个旨在推进姿势多变的操作任务研究的开创性基准，它包含模拟环境、数据集和基准，并在姿势估计、姿势感知操作和真实机器人技能迁移等方面取得了显著进展。

    Mar, 2024

  • GISR：单视角机器人位姿和配置估计的几何初始化与基于轮廓的优化

    通过低成本传感器提供视觉估计的冗余，以实现自主机器人的准确测量机器人的潜在状态和感知环境，包括其中的其他代理，从而使规划和执行传感器故障或外部干扰时的恢复协议成为可能。我们提出了GISR方法，它是一种用于深度配置和机器人到相机姿态估计的方法，其优先考虑实时执行。GISR由两个模块组成：(i) 几何初始化模块，高效计算近似机器人姿势和配置，以及 (ii) 基于轮廓的迭代细化模块，仅通过少数迭代步骤对初始解进行改进。我们在公开可用的数据集上评估了我们的方法，并展示了GISR与现有先进方法相比具有竞争力的表现，并且比同类现有方法具有显著更快的速度。我们的代码可在此URL获得。

    May, 2024

  • Kalib: 无标记手眼标定与关键点跟踪

    本研究解决了传统手眼标定方法依赖于物理标记所带来的手动劳动和设置繁琐等问题。提出的Kalib方法通过利用视觉基础模型的通用性，实现自动化的无标记手眼标定过程，避免了对新网络训练和网格模型的需求。实验结果表明，Kalib在精度上优于现有基线方法，为各种机器人系统提供了一种灵活有效的标定流程。

    Aug, 2024

  • 仅保留有效抓取：一种用于姿态估计自监督微调的数据引擎

    本研究解决了姿态估计中的人工标注数据缺乏的问题，提出了一种自监督的微调方法，通过抓取姿态进行数据验证。该方法使机器人能够在运行过程中自动获取训练数据，显著提升了在箱体抓取任务中的性能，并超越了基于CAD模型训练的先进方法。

    Sep, 2024