ICCVAug, 2023

OCHID-Fi: 通过 RF-Vision 在 3D 中抗遮挡的手部姿势估计

PDF
TL;DR利用射频视觉技术进行被遮挡手势估计，介绍了 OCHID-Fi 方法作为第一个具有 3D 姿态估计能力的射频手势估计方法，通过跨模态和跨域训练过程，使其能在遮挡场景中表现出色，并具有推广到新领域的通用性。
hand pose estimationradio-frequency-visioncm-hperf-hpeoccluded scenarios
发现论文，激发创造
  • 基于最优输运理论的射频三维人体姿态估计

    本文提出了一种新的框架 RFPose-OT，通过最优传输理论实现了将无线电频率 (RF) 信号转换到人体姿态域的特征级别上，从而比现有的 RF 信号上的人体姿态预测方法具有更高的精度。

    Dec, 2022

  • 光学非直接视物理学基于 3D 人体姿势估计

    本文通过光学非视线成像系统获取的瞬态图像描述了一种实现 3D 人体姿势估计的方法，通过使用间接反射的光线，实现了从街角窥视的功能；该方法将非视线成像、人体姿势估计和深度强化学习等多个领域的技术结合起来，通过端对端的数据处理流程，将源源不断的光子测量转换为整个 3D 人体姿势序列的估计，并通过数据综合和增强策略实现靠近现实的 NLOS 成像系统数据的预测。初步实验结果表明，本文所提出的方法可以推广至真实世界的 NLOS 测量，从而实现估算物理上有效的 3D 人体姿势。

    Mar, 2020

  • 使用分层混合密度网络进行遮挡感知手部姿态估计

    本文提出了一种基于深度学习的新方法（HMDN），用于解决基于图像预测 3D 手模型的姿态参数的问题，该方法可以处理自我遮挡问题，并在两个有遮挡的数据集上超越现有的方法。

    Nov, 2017

  • HOISDF: 利用全局有符号距离场改进的三维手 - 物体姿态估计

    通过使用签名距离场（SDF）引导手 - 物体姿态估计网络（HOISDF），将三维手势和物体姿势的估计从单目摄像机中联合评估，实现了全局的隐式表征，达到了最新的手 - 物体姿态估计结果。

    Feb, 2024

  • 适应性机械手抓取物体的鲁棒性、遮挡感知姿态估计

    该论文介绍了一种基于深度信息的机器人手臂感知与图像识别框架，包括自适应手指检测、点云数据处理、全局位姿估计、轨迹规划与性能分析等组件，该框架可以实现对高度遮挡物体进行精准的位姿估计与反应迅速的操作控制。

    Mar, 2020

  • 近距离人体网格恢复的多模态主动测量

    通过主动测量和传感器融合，提出了一种新的方法，将相机、触摸传感器和 2D LiDAR 传感器的信息融合，用于精确估计人体姿态或模型恢复。在实验证明，该方法在人体姿态估计准确度上具有优势，能够可靠地估计前景实际场景中的目标人物姿态。

    Oct, 2023

  • HandOccNet: 鲁棒性遮挡下的 3D 手部网格估计网络

    提出了一种新的 3D 手部网格估计网络 HandOccNet，该网络可充分利用遮挡区域的信息来增强图像特征，设计了两个基于 Transformer 的模块来将手部信息注入遮挡区域，并使用自我注意机制优化输出，从而在具有挑战性的手物体遮挡的 3D 手部网格基准测试中取得了最先进的表现。

    Mar, 2022

  • 探究严重遮挡：带门控卷积的多人三维姿态估计

    本文提出了一种利用时序回归网络和门控卷积模块来将二维关节转换为三维，并同时恢复缺失的关节的方法，还提供了一个包括多人、重度遮挡的人类动作数据集 MMHuman，并通过实验展示该方法在重度遮挡场景下的效果优于大多数现有的二维到三维姿势估计方法。

    Oct, 2020

  • HOnnotate：手部和物体姿态三维注释方法

    提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

    Jul, 2019

  • 一种三维人体姿态估计框架的遮挡处理能力测量方法

    本文提出了一种基于遮挡指导的 3D 人体姿态估计框架，利用不同协议对其遮挡处理能力进行了量化，并利用动作分类表现作为评估标准，证明了该方法能更准确地预测缺失节点的 3D 姿态，并在存在缺失节点时显著提高了动作识别性能。

    Mar, 2022