ICCVOct, 2021

使用可导语义渲染从图像中学习回归人体

PDF
TL;DR利用 Differentiable Semantic Rendering（DSR）loss 来训练一个人体回归器，从而从单目图像中回归出 3D 人体形状和姿势。在 DSR loss 中，利用了服装的语义信息来惩罚有衣和没衣的区域，从而更好的匹配服装区和未穿衣区，同时为了确保可微的训练，从成千上万个衣服扫描中学习 SMPL 顶点的语义衣服先验。在 3DPW 和 Human3.6M 上优于先前的最先进的方法，并在 MPI-INF-3DHP 上获得了与之相当的结果。
3d human body shapesmpl parametersdifferentiable semantic renderingclothing semanticsquantitative experiments
发现论文，激发创造
  • BCNet：从单张图片中学习人物和服装的形状

    本文提出了一种基于 SMPL 的分层服装表示方法，通过使服装区分于身体网格并独立于其蒙皮权重，实现了更高的表达能力和更好的几何恢复效果，并结合训练数据集展示了其在服装重构和身体形状恢复方面的优势，同时也可以实现像重新姿势、服装转移和服装纹理映射等应用。

    Apr, 2020

  • HumanCoser：基于语义感知扩散模型的分层三维人体生成

    基于新颖的物理解耦 - 语义感知扩散模型，本文提出了一个文本驱动的分层式 3D 人体生成框架，可以生成具有一致身体结构的 3D 人体，同时允许分层式的自由编辑。

    Dec, 2023

  • 具有挑战性服装的人体神经点基形状建模

    该研究通过使用可以捕捉衣物粗糙表面几何特征的学习的非规范化本地变形来解决现有点云或隐式表面建模方法对衣服建模的不足，可以用于学习人物特定的化身并演示其动画效果，并能从原始扫描直接学习，使得创建逼真化身的过程大大简化。

    Sep, 2022

  • 生成式服装中的 3D 人物着装学习

    本文提出了一种名为 CAPE 的基于 Mesh-VAE-GAN 和 SMPL 身体模型的条件服装生成模型，能够直接为 3D 人体模型着装并适用于不同的姿势。

    Jul, 2019

  • 服装人体的动态表面函数网络

    提出一种新方法，基于动态表面函数网络，利用单目 RGB-D 序列学习个体化身体模型，并使用人体表面多层感知器（MLP）来重构为具有时间连贯性的网格序列并合成姿态依赖性动画。

    Apr, 2021

  • 3DPeople: 建模穿着衣服人的几何形状

    本文提出了一种从单张照片中预测着装人体几何形状的新方法，包括三个关键点：一个新数据集，一个新的形状参数化算法和一个端到端的深度生成网络。

    Apr, 2019

  • 利用度量和语义属性进行精准的三维人体形状回归

    通过采集互联网上的时尚模特图片和一小部分人体测量数据，以及用于各种三维身体网格的语言形状属性，我们训练了一种名为 SHAPY 的神经网络，该模型可从 RGB 图像中回归出三维人物的姿态以及形状。在新的 HBW 数据集上进行测试，SHAPY 在三维人体形状估计任务上表现出色，明显优于现有技术。

    Jun, 2022

  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019

  • 从单个 RGB 相机学习重建穿着衣服的人

    本文提出了一种基于学习的模型，利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状，可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量，同时加入衣服和头发的形状，具有快速和准确的预测，这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习，可将可变数量的帧作为输入，即使仅有一张图像，也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。

    Mar, 2019

  • 一种穿着衣物的人的生成模型

    本文提出了第一个基于图像的全身穿着人群生成模型，通过从大规模图像数据库中学习生成模型，我们克服了人体姿态、形状和外观方面的高变异性挑战，并提出了一种可分解生成模型以生成逼真的人物图像。该方法有效地实现了数据驱动的人物生成方法。

    May, 2017