CVPRFeb, 2024

LiveHPS: 基于 LiDAR 的自由环境下场景级人体姿态和形状估计

PDF
TL;DR通过 LiveHPS，我们提出了一种新的基于单个激光雷达的场景级人体姿态和形状估计方法，可以解决激光点云的分布变化、遮挡和噪声干扰等问题。通过多模态和多视图的采集数据，我们的方法在新数据集和公共数据集上进行的广泛实验证明了其在实际应用中的卓越性能和鲁棒性。
human-centriclarge-scale scenes3d human global poselidar-based approachscene-level human pose and shape estimation
发现论文，激发创造
  • 基于身体传感器的大场景下的 3D 人体姿态估计与自定位系统

    本文介绍了一种使用可穿戴传感器来在与周围环境的 3D 扫描注册的人体中恢复完整的 3D 姿势的方法，该方法使用身体部位处的 IMU 和向外看的头戴式摄像机将基于相机的自定位与基于 IMU 的人体跟踪融合，并将 3D 场景约束集成到优化中，以获得无漂移的姿态精度，从而可以在更大的记录体积和更长的运动周期中捕获 3D 姿势，可用于虚拟现实 / 增强现实应用程序或通过第一人称视觉输入训练导航和与环境交互的代理。

    Mar, 2021

  • PointHPS: 基于点云的级联三维人体姿态和形状估计

    基于 3D 点云数据的 PointHPS 框架通过迭代的特征提取和处理方案，在人体姿势和形状估计的研究领域中具有显著优势。

    Aug, 2023

  • LPSNet：无镜成像的端到端人体姿态和形状估计

    通过无镜成像，提出了第一个端到端的框架，从无镜成像数据中恢复三维人体姿势和形状。

    Apr, 2024

  • 光学非直接视物理学基于 3D 人体姿势估计

    本文通过光学非视线成像系统获取的瞬态图像描述了一种实现 3D 人体姿势估计的方法，通过使用间接反射的光线，实现了从街角窥视的功能；该方法将非视线成像、人体姿势估计和深度强化学习等多个领域的技术结合起来，通过端对端的数据处理流程，将源源不断的光子测量转换为整个 3D 人体姿势序列的估计，并通过数据综合和增强策略实现靠近现实的 NLOS 成像系统数据的预测。初步实验结果表明，本文所提出的方法可以推广至真实世界的 NLOS 测量，从而实现估算物理上有效的 3D 人体姿势。

    Mar, 2020

  • 基于单目摄像机和单线激光雷达的大规模场景弱监督三维多人姿态估计

    本文提出了一种基于单目摄像头和单个 LiDAR 的方法，用于大规模场景下的 3D 多人姿态估计。通过设计一种有效的多模态融合策略，并充分利用时间信息来指导网络学习自然和连贯的人类运动，以点云的固有几何约束为自我监督，用图像上的 2D 特征点进行弱监督，无需依赖于任何 3D 姿态注释。实验结果表明了该方法的优越性和泛化能力。

    Nov, 2022

  • HPERL：基于 RGB 和 LiDAR 的三维人体姿态估计

    使用 RGB 和 LiDAR 技术的端到端架构，以前所未有的准确度预测绝对的三维人体姿势，同时采用 PedX 的二维姿态注释生成三维预测。

    Oct, 2020

  • HSC4D: 利用可穿戴 IMUS 和激光雷达在大规模室内外空间中以人为中心的 4D 场景捕获

    提出了人性化的 4D 场景捕捉（HSC4D），使用 IMUs 和 LiDAR 进行全空间和无地图的动态数字世界创建，并将它们用于长期捕捉。同时，关注人与环境之间的关系，以实现交互更为真实。提出了一个包含准确动态人体运动和位置的大型场景数据集，可用于多个下游任务。

    Mar, 2022

  • 激光人：自由环境下基于语言引导的场景感知人体运动生成

    为了解决现有数据集的限制，我们引入了 LaserHuman，这是一个开创性的数据集，旨在革新 Scene-Text-to-Motion 研究。LaserHuman 通过包含 3D 环境中的真实人类动作，自由形式的自然语言描述，室内外场景的混合以及动态、不断变化的场景而脱颖而出。多样的采集数据和丰富的注释为条件运动生成研究提供了巨大机遇，也可以促进实际应用的开发。此外，为了生成语义一致且物理可行的人体动作，我们提出了一个简单但有效的多条件扩散模型，在现有数据集上达到了最先进的性能。

    Mar, 2024

  • 基于人匹配和无监督 2D-3D 提升的实时全向三维多人姿势估计的改进

    本文介绍了一种首个能够在实时环境中处理基本遮挡、能够适应 360 度全景相机和毫米波雷达传感器的多人姿态估计系统，通过使用实时的轻量级 2D-3D 姿态提升算法，在室内外环境中实现了准确的性能表现，提供了一种经济实惠且可扩展的解决方案，并且不论检测到的个体数量如何，系统的时间复杂度保持几乎恒定，能够在商用 GPU 的笔记本上达到大约 7-8 帧每秒的帧率。

    Mar, 2024

  • VQ-HPS：在向量量化潜变空间中的人体姿态和形状估计

    通过引入一种低维离散潜在表示的独特方法，我们将人体姿态和形状估计 (Human Pose and Shape Estimation，HPSE) 问题作为一个分类任务来解决，预测离散潜在表示，从而实现对人体网格的编码。我们的模型 VQ-HPS 在训练中通过最小化交叉熵损失实现，结果显示它在 HPSE 问题上胜过当前最先进的无参数方法，并且产生与参数方法一样逼真的结果，这突显了分类方法在 HPSE 中的重要潜力。

    Dec, 2023