PoseVocab: 为人体形象建模学习联合结构的姿态嵌入
本文提出了一种在“野外”环境中进行三维人体姿态估计的解决方案,通过生成大量的具有三维姿势标注的逼真合成图像,并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练,成功地在受控环境(Human3.6M)中优于大多数已发表的作品,并在真实图像(LSP)中展现了有前途的结果。
Feb, 2018
本文介绍了 SCANimate 系统,该系统采用弱监督学习方法,将原始三维扫描的拍穿人类转化为可动漫化的人物角色,在不需要表面网格配准的情况下实现装束的自然移动和变形,并引入了一种本地姿势感知隐式函数来模拟姿势依赖性形变。
Apr, 2021
该研究提出了PoseAug,一个基于数据自动增强的框架,能通过增加训练姿态的多样性来提高2D到3D姿态估计器的泛化性能,该框架引入了姿势增强器来调整姿态的各种几何因素,并介绍了适用于评估局部关节角度可信度的Kinematic Chain Space。该研究的实验结果表明,在训练数据集有限的情况下,算法能显著地提高估计器的性能。
May, 2021
该研究提出了一种运动姿势和形状网络(MPS-Net)来有效地捕捉视频中的运动并从中估计准确的和时间连续的三维人体姿态和形状。MPS-Net利用运动连续性注意力(MoCA)模块和分层注意特征融合(HAFI)模块以提高运动姿势的精度并使用更少的网络参数。
Mar, 2022
本文提出了一种新的人体建模方法,使用稀疏3D关键点编码相对空间3D信息,并在头部重建方面超过先前的最先进方法。同时也在人体重建方面性能可与参数化模型与时间特征聚合的先前工作相比拟,实验结果表明提出方法的高保真度建模指向了一个新的方向。
May, 2022
提出一种基于Transformer的模型,使用三种独立的tokens学习人体的3D关节旋转,身体形状和位置信息,进而估算SMPL参数,从而解决单目图像或视频中3D人体姿态和形状估计的困难问题,并具有较好性能。
Mar, 2023
提出了一种名为TexVocab的新方法,通过构建纹理词汇表并将人体姿势与纹理映射关联,从而充分利用多视角基于视频的人物建模中可用的图像证据,以实现细致和动态的人物表现。
Mar, 2024
从无人监督的以物体为中心的视频中学习估计类别级三维姿态,使用多视角对齐和密集对应的方法,我们的模型在无人监督下表现出色,提供了准确可靠的预测结果。
Jul, 2024
本研究解决了现有多视角方法在估计密切交互人群的三维姿态和形状时面临的困难,特别是由于遮挡和身体接触导致的2D关节点估计不准的问题。提出了一种新颖的方法,通过个体的隐式神经虚拟化身作为先验,显著提高了姿态估计的鲁棒性和精度。实验结果在多个公共数据集上展示了先进的性能。
Aug, 2024
本研究解决了现有方法在区分细致或不常见的人体姿态时的不足,提出了一种结合三维姿态、个体图像和文字描述的新型姿态表示方法。新模型采用基于变压器的架构,支持多模态输入,显著提高了信息整合能力,对细粒度指令生成和姿态回归任务具有重要影响。
Sep, 2024