May, 2023

NCHO：人和物体的神经三维构图无监督学习

HTML
PDF
TL;DR本文提出一种新的生成式模型，利用真实世界的3D扫描完成人体和物品（背包、外套、围巾等）的组合式生成模型的学习，并充分考虑两者之间的交互作用和相互形状变化，解决了先前方法中的限制性表达能力和可控性问题。我们的实验表明该模型能够将不同的物品自然地组合成各种动作和姿势下的人物，且无需人工标注。
发现论文，激发创造
  • 一种穿着衣物的人的生成模型

    本文提出了第一个基于图像的全身穿着人群生成模型，通过从大规模图像数据库中学习生成模型，我们克服了人体姿态、形状和外观方面的高变异性挑战，并提出了一种可分解生成模型以生成逼真的人物图像。该方法有效地实现了数据驱动的人物生成方法。

    May, 2017

  • ROOTS: 3D场景的对象中心表示和渲染

    本文提出了一种概率生成模型，用于学习从多个物体场景的部分观察中构建模块化和组合化的三维物体模型，该模型可以推断3D物体表示并从任意视角呈现场景。

    Jun, 2020

  • StylePeople: 全身人型头像生成模型

    本文提出了一种基于参数化网格人体模型和神经纹理的新型全身人体化身，证明了神经纹理能够成功地建模衣服和头发，并展示了如何使用反向传播从视频的多个框架创建这些化身，进一步提出了一种适用于人体化身的生成模型，能够从人们的图像和视频数据集中进行训练，可以随机生成人体化身以及从一到几张图片中创建穿着着装的人体化身。

    Apr, 2021

  • 使用可导语义渲染从图像中学习回归人体

    利用Differentiable Semantic Rendering（DSR）loss来训练一个人体回归器，从而从单目图像中回归出3D人体形状和姿势。在DSR loss中，利用了服装的语义信息来惩罚有衣和没衣的区域，从而更好的匹配服装区和未穿衣区，同时为了确保可微的训练，从成千上万个衣服扫描中学习SMPL顶点的语义衣服先验。在3DPW和Human3.6M上优于先前的最先进的方法，并在MPI-INF-3DHP上获得了与之相当的结果。

    Oct, 2021

  • gDNA: 生成详细神经化身模型

    这篇论文提出了一种新方法，使用前向蒙皮模块和对抗网络模型，仅从少量生动的数据中学习生成多样化的3D人形模型，以便能够更自然地生成身着不同服装的人形模型，并且还可用于将人形模型拟合到原始扫描数据上。

    Jan, 2022

  • 语义控制下的人-场景交互合成

    本研究提出了一种名为COINS的生成模型，可以在高级语义规格的控制下合成3D场景内与虚拟人之间的自然互动，该模型通过编码统一的潜在空间和位置编码来嵌入互动语义，并可以自然地合成多个对象之间的组合互动，实验结果表明该模型可以合成具有语义控制的真实人-场景交互。

    Jul, 2022

  • AG3D: 从2D图像集合中学习生成3D头像

    本文提出了一种从2D图像生成逼真的3D人物的新方法，并使用多个辨别器和2D法线图形式的几何线索来训练模型，取得了在几何和外观方面超过以前3D和关节感知方法的性能，通过系统的消融研究验证了模型的有效性和每个组件的重要性。

    May, 2023

  • SCULPT：姿态相关的衣着和纹理人体网格的形状条件非配对学习

    我们提出了SCULPT，一种新颖的针对穿着衣服和贴图的人体3D网格的生成模型。

    Aug, 2023

  • En3D：从2D合成数据雕刻3D人体的增强生成模型

    通过以人为基础的准确物理建模，我们提出了一种增强的生成方案 En3D，能够从合成的平衡、多样化和结构化的人类图像中，准确地模拟具有逼真外观的通用化 3D 人物。

    Jan, 2024

  • StructLDM：三维人体生成的结构化潜在扩散

    本研究提出了一种新的3D人体生成模型StructLDM，通过在高维潜空间中建模人体的语义结构和拓扑，从而实现可控的3D人体生成和编辑，包括姿势/视角/形状控制、合成生成、服装编辑和虚拟试穿等。

    Apr, 2024