CVPRMar, 2020

HOPE-Net: 基于图形的手 - 物体姿态估计模型

PDF
TL;DR本文提出了一个轻量级的模型（HOPE-Net），它使用两级自适应图卷积神经网络级联来实时联合估计手和物体姿势的 2D 和 3D 坐标，通过端到端训练获得更好的 2D 和 3D 坐标估计精度，并且该模型可用于其他 3D 关键点检测问题。
hand-object pose estimationhope-netgraph convolutional neural networks2d and 3d coordinate estimationend-to-end training
发现论文，激发创造
  • 从 RGB 图像学习估计手持物体的姿态和形状

    该研究提出了一种利用卷积神经网络和图像转化模型实现手持物体姿态和形状估计的方法，并使用合成数据训练模型，获得了在真实场景与合成场景数据上预测物体姿态和形状的良好结果。

    Mar, 2019

  • Hand3D：使用 3D 神经网络进行手部姿态估计

    使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

    Apr, 2017

  • HOnnotate：手部和物体姿态三维注释方法

    提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

    Jul, 2019

  • HOReeNet: 3D 感知式手 - 物体抓取再现

    本文介绍了一种全新的图像操作技术 HOReeNet，它通过增加手势、物体和其相互作用来实现目标图像的转移和 3D 手势的调整，此技术是第一个针对这种任务提出的可微分框架。通过与传统的图像转换算法和仿真算法进行比较，证明该方法能够达到最先进的水平。

    Nov, 2022

  • Hybrid Orthogonal Projection and Estimation (HOPE): 一个用于探索和学习神经网络的新框架

    该论文提出了一种新的高维数据模型 —— 混合正交投影估计（HOPE）模型，它将线性正交投影和有限混合模型结合到一个统一的生成建模框架中，并展示了该模型与神经网络密切相关，可用作理解和学习神经网络的新工具，在标准任务上取得了显著的性能优势。

    Feb, 2015

  • 多跳图变换网络用于 3D 人体姿势估计

    介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络，通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互，提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节，实验结果表明其有效性和泛化能力。

    May, 2024

  • ViHOPE：视触觉手持物体 6D 姿态估计与形状补全

    提出了一种新颖的 ViHOPE 框架，用于利用视触知感知估计手持物体的六维位姿，通过显式完成物体的形状，提高了六维物体位姿估计的准确性。

    Sep, 2023

  • H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

    在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

    Apr, 2019

  • 联合手 - 物体姿态估计的通用反馈环

    该研究提出一种通过反馈循环纠正卷积神经网络预测手的三维姿态估计的方法，使用深度神经网络同时估计手和物体的三维姿态，并在单个 GPU 上实时运行，性能好于现有方法。

    Mar, 2019

  • 基于分层图神经网络的手持物体本体感 6D 位姿估计

    本研究提出了一种基于多模态数据融合和图神经网络的机器人手部操作姿态估计方法，利用物体特征结构和内部的感性信息来提高估计精度，并在 YCB 数据集和实际机器人操作中进行了验证。

    Jun, 2023