通过扭曲三维特征使人形象重现
我们提出了一种新颖的方法,用于从少量的 RGB 图像(例如 1 到 6 张)中重建穿着衣物的人类。我们重新审视了体素方法并证明了通过适当的系统设计可以获得更好的性能。体积表示通过 3D 卷积在利用三维空间上下文方面具有明显优势,对于合理的大型但保守的体积分辨率(例如 512),明显的量化误差可以忽略不计。为了处理内存和计算成本,我们提出了一个复杂的由粗到精的策略,包括体素剔除和子空间稀疏卷积。我们的方法从离散的视觉外壳开始计算粗糙形状,然后专注于粗糙形状附近的窄带进行细化。形状重建后,我们采用基于图像的渲染方法,通过将输入图像与学习到的权重混合来计算表面点的颜色。大量的实验结果表明,我们的方法将最先进方法的平均点到表面(P2S)精度降低了 50%以上,以 512 体积分辨率实现了约 2mm 的准确度。此外,我们渲染的纹理模型与最先进方法相比具有更高的峰值信噪比(PSNR)。
Jul, 2023
提出了一种用于从单个 RGB 图像进行 3D 人体重建的基于图像引导的体积到体积的转换 CNN,通过 SMPL 模型生成密集的语义表示来减少与表面几何重建相关的歧义,将不同尺度的图像特征融合到三维空间中,并通过法线细化网络来进一步提高可见面细节的精度,使用所提出的体积法向投影层将其连接到体积生成网络中,并使用其中包含的 3D 真实世界人体模型数据集进行训练,实验表明该方法在前沿方法中表现优异。
Mar, 2019
该论文提出一种新的神经重渲染方法,利用单张图像生成一个人体在新的用户定义的姿势和视角下的三维重建,并通过高维度 UV 特征图编码外观,该方法在单张图像重渲染方面比现有方法产生更高质量的成果。
Jan, 2021
本研究提出了一种几何感知的人体姿态三维表示方法,通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督,在训练阶段建立共享的 3D 表示,进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明,该方法能够显著提高现有姿态估计方法的性能。
Mar, 2019
本研究提出了一种基于隐式 3D 表示的 Structured 3D Features 模型,通过对参数统计人体网格表面进行密集的 3D 点采样并将像素对齐的图像特征汇集到其中,生成一个单端到端模型,可以生成带有颜色和光照分解的动画化 3D 重建图像,在 3D 虚拟试穿等应用领域有很大应用潜力。
Dec, 2022
本文提出使用多视角图像而无需注释,来学习一个具有几何感知能力的身体表示,通过使用该身体表示,我们的方法在仅使用少量标记数据的情况下,显著优于完全监督的方法,并且在使用仅 1% 标记数据时,也优于其他半监督方法。
Apr, 2018