ICCVSep, 2021

使用 Transformer 从单张图像中估计三维人体纹理

PDF
TL;DR本文提出了一种基于 Transformer 的框架，用于从单张图像中进行三维人体纹理估计，并通过 mask-fusion 策略和 part-style loss 来提高图像质量，实验结果表明该方法在 3D 人体纹理估计方面优于现有方法。
transformer-based3d human texture estimationsingle imagemask-fusion strategypart-style loss
发现论文，激发创造
  • 重新识别监督纹理生成

    本文提出了一种基于端到端学习策略的方法，利用行人重新识别作为感知度量，生成单张人体图像的纹理贴图，实验结果表明，我们的模型可以从单张图像中生成纹理贴图，并证明我们的纹理比其他可用方法生成的质量更高，我们还将应用范围扩展到其他类别，并探索了我们生成的纹理的可能利用途径。

    Apr, 2019

  • 从单张图像中估计卷积式三维姿态

    本文提出了一种用于从单个 RGB 图像中估计人类姿势的统一方法，通过联合推理 2D 关节估计和 3D 姿势重建来改善两个任务，并使用可信的 3D 地标位置知识来对更好的 2D 位置进行搜索，并通过多级卷积神经网络架构综合了 3D 人体姿势的概率知识，并在 Human3.6M 数据集上进行了端到端的训练，最终获得了在 2D 和 3D 误差上优于之前方法的最新结果。

    Jan, 2017

  • TexDreamer：面向零样本高保真 3D 人体纹理生成

    利用 TexDreamer 模型，我们通过有效的纹理自适应微调策略将大型文本到图像模型转化成语义化 UV 结构，在保留其原始泛化能力的同时，能够在数秒内生成高保真度的 3D 人体纹理。此外，我们还介绍了包含 50k 高保真度的纹理及文本描述的 ATLAS 高分辨率 3D 人体纹理数据集。

    Mar, 2024

  • R2Human：来自单一图像的实时 3D 人类外貌渲染

    使用单幅图像进行实时推断和渲染逼真的三维人体外貌的 R$^2$Human 方法结合了隐式纹理场和显式神经渲染的优势，利用新的表示法 Z-map 并通过傅里叶占用场重建了精细的三维几何，从而在合成数据和挑战性的现实世界图像上取得了最先进的性能。

    Dec, 2023

  • 人体建模：从单张图像非参数三维人体形状估计

    本文提出了一种基于深度图的非参数方法，用于从单个 RGB 图像中估计人体的 3D 形状，并结合对抗训练进行优化，并在真实数据集上进行了验证。

    Aug, 2019

  • Tex2Shape：从单张图像获取详细的全身人体几何形状

    本研究提出了从单张照片推断出详细的全身人体形状的简单而有效的方法，其将形状回归转化为图像转换问题，并使用纹理图来估计细节的法线和位移图，能够将细节添加到低分辨率的光滑身体模型中，尽管仅使用合成数据进行训练，但该模型在真实世界的照片上表现良好。

    Apr, 2019

  • 从单幅图像中综合估计三维人体和场景网格

    本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

    Dec, 2020

  • 从单色图像学习估计三维人体姿态和形状

    该论文提出了一种基于卷积神经网络的直接预测方法，将参数化的统计全身形状模型与 2D 关键点和掩膜相结合，实现从单张彩色图像中估计全身的 3D 姿态和形状，得到了比先前基准更好的结果。

    May, 2018

  • 全球相关 3D 解耦变压器用于服装化人物重建

    使用全局相关的三维解耦 Transformer 模型来从单幅图像中重建着衣人体化身，实现了在复杂姿势和宽松服装情况下的高性能几何和纹理重建。

    Sep, 2023

  • DeepHuman：从单张图像重建 3D 人体

    提出了一种用于从单个 RGB 图像进行 3D 人体重建的基于图像引导的体积到体积的转换 CNN，通过 SMPL 模型生成密集的语义表示来减少与表面几何重建相关的歧义，将不同尺度的图像特征融合到三维空间中，并通过法线细化网络来进一步提高可见面细节的精度，使用所提出的体积法向投影层将其连接到体积生成网络中，并使用其中包含的 3D 真实世界人体模型数据集进行训练，实验表明该方法在前沿方法中表现优异。

    Mar, 2019