Sep, 2023

SMPLitex：基于单个图像的三维人体纹理估计的生成模型和数据集

PDF
TL;DR我们提出了 SMPLitex，这是一种从单张图片中估计和操作人类完整 3D 外观的方法。SMPLitex 基于最近提出的 2D 图像生成模型，并通过对输入图像上的像素到表面对应进行计算将其扩展到 3D 领域。我们首先训练了一个完整的 3D 人类外观生成模型，然后通过将生成模型与主体的可见部分相关联，将其适应于输入图像。此外，我们提出了一个新的高质量人类纹理数据集，通过对 SMPLitex 进行主体描述和图像采样构建。我们在三个公开数据集中进行定量和定性评估，结果显示 SMPLitex 明显优于现有的人类纹理估计方法，同时允许进行更多样化的任务，如编辑，合成和操作。
发现论文，激发创造
  • 单张图像中穿着衣物的人的 360 度纹理

    本文使用图像到图像翻译方法在 SMPL 模型的 UV 空间中推断纹理和几何学，以此预测人物的完整三维化身。通过此方法，我们得到的预测纹理和几何学可以应用到 SMPL 模型上，从而自然地对新的姿势、形状和衣物进行推广。

    Aug, 2019

  • SMPLX-Lite：带有丰富几何和纹理注释的逼真驾驶化身基准

    提出了一种新的参数化模型 SMPLX-Lite-D，可以适应扫描网格的详细几何结构，同时保持脸部、手部和脚部区域的稳定几何结构。利用 SMPLX-Lite 数据集，训练了一个条件变分自编码器模型，以人体姿势和面部关键点作为输入，生成逼真的可驾驶人体化身。

    May, 2024

  • TexDreamer：面向零样本高保真 3D 人体纹理生成

    利用 TexDreamer 模型，我们通过有效的纹理自适应微调策略将大型文本到图像模型转化成语义化 UV 结构，在保留其原始泛化能力的同时，能够在数秒内生成高保真度的 3D 人体纹理。此外，我们还介绍了包含 50k 高保真度的纹理及文本描述的 ATLAS 高分辨率 3D 人体纹理数据集。

    Mar, 2024

  • SMPL 约简：从单张图片自动估计三维人体姿态和形状

    本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法，能够从单张无约束的图像中自动预测人体的姿态和形状，实现了对人体结构和运动的精确推断。

    Jul, 2016

  • SMPLpix：基于 3D 人体模型的神经化身

    本研究提出了一种新的深度学习网络，用于将 3D 模型转换为逼真的照片，旨在弥合现有深度生成模型不能灵活控制的瓶颈问题，同时也改善了传统三维图形处理渲染机制的不足之处。

    Aug, 2020

  • 使用 Transformer 从单张图像中估计三维人体纹理

    本文提出了一种基于 Transformer 的框架，用于从单张图像中进行三维人体纹理估计，并通过 mask-fusion 策略和 part-style loss 来提高图像质量，实验结果表明该方法在 3D 人体纹理估计方面优于现有方法。

    Sep, 2021

  • 通过单张图片捕捉 3D 手、面部和身体表达

    本研究提出了通过单目图像计算实现人体姿态、手部姿态和面部表情三维模型的方法，主要使用了一个新的、一致的、包含完全表达手和面部表情的人体模型 SMPL-X，可以对受控图像和自然环境图片进行三维模型匹配。

    Apr, 2019

  • TexVocab: 基于纹理词汇的人体动画

    提出了一种名为 TexVocab 的新方法，通过构建纹理词汇表并将人体姿势与纹理映射关联，从而充分利用多视角基于视频的人物建模中可用的图像证据，以实现细致和动态的人物表现。

    Mar, 2024

  • 学习将服装图像的纹理转移到 3D 人体模型

    提出一种将服装图像的纹理自动转移到穿着在人体模型上的 3D 服装的方法，并在不需要纹理信息的情况下实现，速度比传统方法更快，从而实现了更准确的模型，这为虚拟试穿等应用提供了新的途径。

    Mar, 2020

  • 重新识别监督纹理生成

    本文提出了一种基于端到端学习策略的方法，利用行人重新识别作为感知度量，生成单张人体图像的纹理贴图，实验结果表明，我们的模型可以从单张图像中生成纹理贴图，并证明我们的纹理比其他可用方法生成的质量更高，我们还将应用范围扩展到其他类别，并探索了我们生成的纹理的可能利用途径。

    Apr, 2019