LPSNet:无镜成像的端到端人体姿态和形状估计
通过 LiveHPS,我们提出了一种新的基于单个激光雷达的场景级人体姿态和形状估计方法,可以解决激光点云的分布变化、遮挡和噪声干扰等问题。通过多模态和多视图的采集数据,我们的方法在新数据集和公共数据集上进行的广泛实验证明了其在实际应用中的卓越性能和鲁棒性。
Feb, 2024
本文通过光学非视线成像系统获取的瞬态图像描述了一种实现 3D 人体姿势估计的方法,通过使用间接反射的光线,实现了从街角窥视的功能;该方法将非视线成像、人体姿势估计和深度强化学习等多个领域的技术结合起来,通过端对端的数据处理流程,将源源不断的光子测量转换为整个 3D 人体姿势序列的估计,并通过数据综合和增强策略实现靠近现实的 NLOS 成像系统数据的预测。初步实验结果表明,本文所提出的方法可以推广至真实世界的 NLOS 测量,从而实现估算物理上有效的 3D 人体姿势。
Mar, 2020
本文介绍了一种使用可穿戴传感器来在与周围环境的 3D 扫描注册的人体中恢复完整的 3D 姿势的方法,该方法使用身体部位处的 IMU 和向外看的头戴式摄像机将基于相机的自定位与基于 IMU 的人体跟踪融合,并将 3D 场景约束集成到优化中,以获得无漂移的姿态精度,从而可以在更大的记录体积和更长的运动周期中捕获 3D 姿势,可用于虚拟现实 / 增强现实应用程序或通过第一人称视觉输入训练导航和与环境交互的代理。
Mar, 2021
单目人体姿态估计(HPE)是从相机捕捉的单个 2D 图像中确定人体关节的 3D 位置。本研究提出了一种 EPOCH 框架,利用完整的透视相机模型进行姿态估计,并通过无监督学习得到比现有方法更好的泛化性能和最先进的结果。
Jun, 2024
使用不需要镜头的相机对编码无镜头捕捉的隐私保护人脸验证进行端到端优化,确保整个软件流程在编码过程中没有可见人脸的中间结果,通过面部中心对齐方案、增强训练和知识蒸馏等技术解决了不同于传统人脸检测和对齐的不同挑战,评估结果显示该方法优于两阶段无镜头验证,同时提升了隐私保护和效率。
Jun, 2024
通过引入一种低维离散潜在表示的独特方法,我们将人体姿态和形状估计 (Human Pose and Shape Estimation,HPSE) 问题作为一个分类任务来解决,预测离散潜在表示,从而实现对人体网格的编码。我们的模型 VQ-HPS 在训练中通过最小化交叉熵损失实现,结果显示它在 HPSE 问题上胜过当前最先进的无参数方法,并且产生与参数方法一样逼真的结果,这突显了分类方法在 HPSE 中的重要潜力。
Dec, 2023
SPEC 是第一个在野外图像中从单幅图像估计透视相机并更准确地重构 3D 人体的 3D 人体姿态和形状方法,SPEC 通过训练神经网络来估计视场角、相机俯仰角和滚转角,并将相机标定与图像特征连接起来,一起用于回归 3D 人体的形状和姿势,其结果在标准基准和两个新的数据集中表现比之前的艺术更加准确。
Oct, 2021
提出了一种基于深度学习的实时方法,利用相机 SLAM 和身体图像,同时计算出头部姿态、身体姿态和前景 / 背景分离,并引入一定的几何一致性限制,用于从佩戴设备的围绕视野中估计身体姿态。
Apr, 2021
使用两种解剖启发的损失函数和弱监督学习框架,结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列,并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8%和 12%,并在普通图形卡上以 30 FPS 运行。
Nov, 2017