基于图视角稀疏感知的全身动作重建
SparsePoser 是一种深度学习为基础的解决方案,用于从一组减少的六个跟踪设备中重建全身姿势。该方法在公开可用的动作捕捉数据集上进行了广泛评估,并通过实时演示显示了优于使用 IMU 传感器或 6 自由度跟踪设备的最先进技术,可适用于具有不同身体尺寸和比例的用户。
Nov, 2023
本研究提出了一种基于自适应图散射的骨架分块散射网络模型,用于模拟身体关节之间的关系,同时对身体的各个部位进行建模和学习,生成更丰富的图谱频带和更细的空间特征,并在 Human3.6M、CMU Mocap 和 3DPW 数据集上实验表明,该模型较现有方法的 3D 关节均值位置误差 (MPJPE) 提高了可观的 13.8%、9.3% 和 2.7%。
Jul, 2022
本文提出了一种基于部件图卷积网络的人体动作识别模型,该模型将骨骼图分为四个子图,并使用相对坐标和时间位移代替 3D 关节点特征,相对于使用整个骨骼图的模型,能够提高识别性能,实现了对挑战性基准数据集 NTURGB+D 和 HDM05 的骨骼动作识别的最先进水平。
Sep, 2018
通过预测用户整体运动的潜在表征并将其与跟踪传感器输入集成,提出了一种利用神经运动先验信息以提高用户运动重建准确性的方法,该方法通过有限的输入信号重建用户的全身姿势,尤其增强了从贫乏信号中重建下半身运动的强健性。
Aug, 2023
本文探讨了空间背景信息在人体姿态估计中的重要性,提出了利用上下文信息的 Cascade Prediction Fusion 和 Pose Graph Neural Network 两个模块。在 MPII 和 LSP 基准测试中,实验结果表明我们的方法始终优于以前的方法。
Jan, 2019
通过结合场景提供的丰富上下文信息,利用稀疏观测信号实现从头戴式显示器和手柄控制器到 3D 场景中的全身人体运动的估计是增强现实 / 虚拟现实应用的关键问题之一。我们引入了一个新的框架 ——S^2Fusion,它融合场景和稀疏信号,采用条件扩散模型,在给定稀疏跟踪信号和 3D 场景的情况下估计出合理的人体运动。S^2Fusion 首先通过周期自编码器提取稀疏信号中的时空关系,然后生成时间对齐特征嵌入作为附加输入。随后,通过从预先训练的先验中提取初始噪声运动,S^2Fusion 利用条件扩散将场景几何和稀疏跟踪信号融合,生成了全身感知场景的运动。S^2Fusion 的采样过程还受到了特别设计的场景穿透损失和相位匹配损失的指导,即使在没有任何跟踪信号的情况下,也能有效规范下半身的运动,使得生成的运动更加合理和连贯。广泛的实验证明了我们的 S^2Fusion 在估计质量和平滑度方面超过了最先进的方法。
Apr, 2024
我们提出了一种稀疏和增强隐私保护的人体姿态估计方法,使用专有的运动矢量传感器提取边缘图像和双向运动矢量图像,并结合稀疏卷积网络进行高效处理,通过边缘信息和运动矢量图像相结合,我们的方法在速度和运算量方面取得了巨大改进,验证了我们提出的稀疏表示的隐私保护质量。
Sep, 2023
本文引入一种基于神经网络的方法,通过上半身的追踪信号来实时预测下半身姿态和脚部接触概率,并使用速度表示来增加其可靠性,克服用户身体比例和规模的差异,同时通过逆运动学来保持身体接触以消除漂浮问题。该方法在多个定量评估中表现出了高效性,适用于商用 VR 设备的野外追踪数据。
Mar, 2021
本文提出了一种利用少量惯性传感器进行人体动作捕捉的方法,通过应用逼真的统计身体模型和使用关节优化框架来实现六个传感器进行任意人类动作的三维姿态估计,并在户外场景下的运动中展示了其高准确性。
Mar, 2017
本文通过提出一种新的方法,在人体姿势估计中实现了更好的 3D 姿势估计精度,通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图,并使用期望最大化算法进行 3D 姿势估计。
Nov, 2015