利用多视角图像进行形状感知人体姿态和形状重建
本文提出了一种基于学习的模型,利用少量单目视频帧(1-8帧)从移动的人中推断出其个性化的3D形状,可在不到10秒内达到5mm的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量,同时加入衣服和头发的形状,具有快速和准确的预测,这得益于其对T-pose空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的3D数据进行学习,可将可变数量的帧作为输入,即使仅有一张图像,也能以6mm的精度重建形状。3个不同数据集的结果表明了本方法的有效性和准确性。
Mar, 2019
该论文提出了一种新的框架,利用深度神经网络和 Hierarchical Mesh Deformation 技术综合使用人体关节、轮廓和像素的着色信息,从而在单张图片中精确恢复人体形状。实验证明,我们的方法在 2D IoU 计算和 3D 距离计算的准确度上都优于现有的其他方法。
Apr, 2019
研究单视图和部分遮挡视图下获取人体的密集三维重建问题,建议通过合适的三维模型参数化人体形状和姿势,学习一种多假设神经网络回归器,约束每个假设位于合理人体姿势的流形上,并且在标准3D人体基准和重度遮挡版本中,该方法表现出优异的处理模糊姿态恢复的性能。
Nov, 2020
本研究提出了一种新的任务,在人体形态和姿势估计中使用多幅图像组成的分布预测模型,使我们能够量化姿势预测的不确定性,并提高了 3D 人体形态估计度量标准。
Mar, 2021
利用Differentiable Semantic Rendering(DSR)loss来训练一个人体回归器,从而从单目图像中回归出3D人体形状和姿势。在DSR loss中,利用了服装的语义信息来惩罚有衣和没衣的区域,从而更好的匹配服装区和未穿衣区,同时为了确保可微的训练,从成千上万个衣服扫描中学习SMPL顶点的语义衣服先验。在3DPW和Human3.6M上优于先前的最先进的方法,并在MPI-INF-3DHP上获得了与之相当的结果。
Oct, 2021
本文提出一种新的多视角人体网格翻译器(MMT)模型,通过利用多视角图像和视觉转换器来解决单视角方法的病态问题,同时在编码和解码阶段融合不同视角的特征,并通过交叉视图对齐来确保令牌集中于人类姿势和形状。实验表明,MMT模型在人体网格恢复任务上表现出很大优势,特别是在具有挑战性的HUMBI数据集上的MPVE方面,优于现有的单视角或多视角模型,提高28.8%。
Oct, 2022
本研究关注于使用多视图和多姿势的人体输入,重建位于规范空间中的衣着人体。我们利用SMPLX模型在规范空间中的几何先验,学习了几何重建的隐式表示,并在姿势网格和规范空间网格之间学习潜在编码。最终,我们的工作在WCPA MVP-Human Body Challenge中实现了第三的表现。
Dec, 2022
提出了一种Pose and Mesh Co-Evolution网络(PMCE),通过将任务分解为视频中基于3D人体姿势估计和来自估计的3D姿势和时间图像特征的网格顶点回归,解决了从视频中准确、平滑地恢复3D人体运动的问题。实验证明,该方法在三个基准数据集(3DPW、Human3.6M和MPI-INF-3DHP)上在逐帧准确度和时间一致性方面优于先前的最先进方法。
Aug, 2023
通过单目图像构建完整的3D人体形状的新框架,通过使用多视角、多相机的未经校准和未经注册的图像集合来恢复单目输入的丢失信息,并生成高质量的非可见区域的细节。
Jul, 2024