ECCVDec, 2022

基于多视角和多姿态图像的人体模型的 Pixel2ISDF: 隐式符号距离场

PDF
TL;DR本研究关注于使用多视图和多姿势的人体输入，重建位于规范空间中的衣着人体。我们利用 SMPLX 模型在规范空间中的几何先验，学习了几何重建的隐式表示，并在姿势网格和规范空间网格之间学习潜在编码。最终，我们的工作在 WCPA MVP-Human Body Challenge 中实现了第三的表现。
发现论文，激发创造
  • SeSDF：自我演化的带符号距离场用于隐式三维服装人体重建

    本文提出一种基于 SMPL-X 模型的可灵活处理单张图片或非标定多视角图片的参数化框架，通过新颖的自进化符号距离场模块来学习并重建服装人体，并引入了自校准和遮挡感知的特征融合策略来提高重建效果。与现有算法相比，该方法在公共基准测试上表现很好。

    Apr, 2023

  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019

  • 基于法线图的服装人体弱监督三维重建

    使用 2D 法线贴图进行弱监督的基于深度学习的方法，实现服装人体的三维重建。利用神经网络推断在休息姿势下围绕身体离散的四面体网格上的有符号距离函数 (SDF)，接着利用推断得到的姿势和相机参数生成法线贴图。通过 Marching Tetrahedra 从四面体网格上的 SDF 计算出一个三角化表面，从而方便进行微分计算（反向传播）。因此，仅凭借真实的法线贴图（没有体积信息的真实数据），我们就可以训练网络从相应的 RGB 图像中生成 SDF 值。可选择性地使用多视角损失以改善结果。我们展示了该方法在网络推断和三维重建方面的有效性。

    Nov, 2023

  • SMPL 约简：从单张图片自动估计三维人体姿态和形状

    本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法，能够从单张无约束的图像中自动预测人体的姿态和形状，实现了对人体结构和运动的精确推断。

    Jul, 2016

  • 具有挑战性服装的人体神经点基形状建模

    该研究通过使用可以捕捉衣物粗糙表面几何特征的学习的非规范化本地变形来解决现有点云或隐式表面建模方法对衣服建模的不足，可以用于学习人物特定的化身并演示其动画效果，并能从原始扫描直接学习，使得创建逼真化身的过程大大简化。

    Sep, 2022

  • 多视角图像中的多人姿态估计与形状感知

    本文提出了一种基于多视图图像的多人姿态估计方法，在统计参数体模型的引导下，这种方法能够更好地纠正不合理的 3D 姿态估计和填充缺失的关节点检测，将 2D 和 3D 观测联系起来，从而更准确地估计 3D 姿态并且具有较好的泛化性能，实验表明该方法的效果优于现有的方法。

    Oct, 2021

  • SMPLX-Lite：带有丰富几何和纹理注释的逼真驾驶化身基准

    提出了一种新的参数化模型 SMPLX-Lite-D，可以适应扫描网格的详细几何结构，同时保持脸部、手部和脚部区域的稳定几何结构。利用 SMPLX-Lite 数据集，训练了一个条件变分自编码器模型，以人体姿势和面部关键点作为输入，生成逼真的可驾驶人体化身。

    May, 2024

  • SMPLicit：面向穿着人群的拓扑感知生成模型

    该论文介绍了一种新型的生成模型 SMPLicit，可以联合表示人体姿势、形状和衣物几何形状，并将不同类型的衣物拓扑结构（如无袖上衣、连帽衫和开衫）以一种统一的方式表示，同时控制其他属性如大小或紧身 / 松身。SMPLicit 建立在对 SMPL 人体参数的条件隐式模型和可学习潜在空间上，具有很高的表达灵活性，可以被用于 3D 扫描、3D 重建和服装编辑。

    Mar, 2021

  • AlignSDF: 姿态对齐的有符号距离场用于手 - 物体重建

    本文提出了一种基于先验知识的手部和物体联合重建方法，其中通过参数化模型获得手和物体的姿态，用它们来对齐三维空间中的有符号距离场数据，以重建更精细的手势和形状细节，实验表明该方法在 ObMan 和 DexYCB 数据集上有显著的性能优势。

    Jul, 2022

  • 服装人体的动态表面函数网络

    提出一种新方法，基于动态表面函数网络，利用单目 RGB-D 序列学习个体化身体模型，并使用人体表面多层感知器（MLP）来重构为具有时间连贯性的网格序列并合成姿态依赖性动画。

    Apr, 2021