基于分层图神经网络的手持物体本体感 6D 位姿估计

Jun, 2023

基于分层图神经网络的手持物体本体感 6D 位姿估计

Hierarchical Graph Neural Networks for Proprioceptive 6D Pose Estimation of In-hand Objects

Alireza Rezazadeh, Snehal Dikhale, Soshi Iba, Nawid Jamali

TL;DR本研究提出了一种基于多模态数据融合和图神经网络的机器人手部操作姿态估计方法，利用物体特征结构和内部的感性信息来提高估计精度，并在 YCB 数据集和实际机器人操作中进行了验证。

Abstract

robotic manipulation, in particular in-hand object manipulation, often requires an accurate estimate of the object's 6D pose. To improve the accuracy of the estimated pose, state-of-the-art approaches in 6D object pose estimation use observational data from one or more modalities, e.g.

robotic manipulation 6d pose estimation multimodal data graph neural network proprioceptive information

发现论文，激发创造

多目标动态三维形状重建、6 自由度位姿估计和密集抓取预测实时同时完成

本文介绍了一种新的方法，通过感知系统提供场景中所有物体的几何和语义信息，同时提供这些物体的可行抓取，以加速机器人操作的复杂度。通过详细的定量分析，我们展示了我们的方法通过在 30 帧 / 秒速度下提供竞争性能，以比较专门用于物体形状、姿态和抓取预测的最新技术方法。

May, 2023

H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

Apr, 2019

神经场与神经场的感知：手中操作的视觉触觉感知

通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

Dec, 2023

通过聚合基于先验知识的手部内部和交互图来进行手 - 物体交互场景的 3D 手部重建

最近，3D 手部重建在人机合作中越来越受关注，特别是在手物互动场景中。然而，由于交互造成的严重手部遮挡问题，仍然存在巨大挑战，包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题，我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络，以在手物互动场景中平衡准确性和物理可信度。首先，我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块，避免了从抽象图像特征进行高度非线性映射的过程，也不再依赖于准确的 3D 关节点。此外，我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型，共同精细化手部网格和关节点，模拟了顶点 - 顶点和关节点 - 关节点的依赖关系，并分别捕捉了顶点 - 关节点的相关性，以聚合图内节点和图间节点特征。实验结果表明，我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能，并且优于所有仅基于模型和无模型方法。

Mar, 2024

Hand3D：使用 3D 神经网络进行手部姿态估计

使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

Apr, 2017

从 RGB 图像学习估计手持物体的姿态和形状

该研究提出了一种利用卷积神经网络和图像转化模型实现手持物体姿态和形状估计的方法，并使用合成数据训练模型，获得了在真实场景与合成场景数据上预测物体姿态和形状的良好结果。

Mar, 2019

GraNet: 多层次图网络在杂乱场景中的 6 自由度抓取姿态生成

基于图神经网络的 GraNet 框架在无结构环境下实现了针对 6 维自由度的无对象依赖抓取，通过建立点云场景的多级图并通过图神经网络传播特征，提高了多尺度下的特征嵌入能力，从而实现了高效抓取的空间分布特征建模。该方法在大规模的 GraspNet-1Billion 基准测试中取得了最先进的性能，尤其在抓取未见过的物体上的平均精准度提高了 11.62 个百分点，实际机器人实验也证明了该方法在无结构环境中对分散物体的高成功率。

Dec, 2023

多模态几何学习用于抓取和操作

本文提出使用 3D 卷积神经网络结构，融合深度学习和触觉信息来生成可用于机器人操作的丰富准确的三维模型，并通过实验证明，在几何推理方面具有优越性。

Mar, 2018

基于注意力引导图卷积的手和物体重建协同学习

本文提出了一种协作学习策略的算法，通过两个深度网络分支相互学习并解决注意力和联合信息传输的问题，实现鲁棒的手部和物体位姿估计与三维重建。

Apr, 2022

适应性机械手抓取物体的鲁棒性、遮挡感知姿态估计

该论文介绍了一种基于深度信息的机器人手臂感知与图像识别框架，包括自适应手指检测、点云数据处理、全局位姿估计、轨迹规划与性能分析等组件，该框架可以实现对高度遮挡物体进行精准的位姿估计与反应迅速的操作控制。

Mar, 2020