May, 2023

NCHO：人和物体的神经三维构图无监督学习

PDF
TL;DR本文提出一种新的生成式模型，利用真实世界的 3D 扫描完成人体和物品（背包、外套、围巾等）的组合式生成模型的学习，并充分考虑两者之间的交互作用和相互形状变化，解决了先前方法中的限制性表达能力和可控性问题。我们的实验表明该模型能够将不同的物品自然地组合成各种动作和姿势下的人物，且无需人工标注。
compositional generative model3d scansinteraction-awareobject decompositionunsupervised learning
发现论文，激发创造
  • 语义控制下的人 - 场景交互合成

    本研究提出了一种名为 COINS 的生成模型，可以在高级语义规格的控制下合成 3D 场景内与虚拟人之间的自然互动，该模型通过编码统一的潜在空间和位置编码来嵌入互动语义，并可以自然地合成多个对象之间的组合互动，实验结果表明该模型可以合成具有语义控制的真实人 - 场景交互。

    Jul, 2022

  • 面向无监督学习的生成模型，用于三维可控图像合成

    该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

    Dec, 2019

  • 自然图像中的无监督生成式三维形状学习

    本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

    Oct, 2019

  • CHORUS: 学习从无限合成图像中的规范化三维人体 - 物体空间关系

    我们提出了一种教导机器以自监督方式理解并建模多种 3D 人物 - 物体相互作用的基础空间常识的方法。我们利用生成模型生成高质量的 2D 图像，并展示了这些合成图像足以学习 3D 人物 - 物体之间的空间关系。

    Aug, 2023

  • AG3D: 从 2D 图像集合中学习生成 3D 头像

    本文提出了一种从 2D 图像生成逼真的 3D 人物的新方法，并使用多个辨别器和 2D 法线图形式的几何线索来训练模型，取得了在几何和外观方面超过以前 3D 和关节感知方法的性能，通过系统的消融研究验证了模型的有效性和每个组件的重要性。

    May, 2023

  • En3D：从 2D 合成数据雕刻 3D 人体的增强生成模型

    通过以人为基础的准确物理建模，我们提出了一种增强的生成方案 En3D，能够从合成的平衡、多样化和结构化的人类图像中，准确地模拟具有逼真外观的通用化 3D 人物。

    Jan, 2024

  • 使用生成模型的合成数据在野外进行的 3D 人体重建

    通过基于扩散模型的 HumanWild 方法，我们展示了由生成模型创建的合成数据与计算机图形渲染数据互补，从而在 3D 人体姿态和形状估计方面在多样化的真实场景中实现了卓越的泛化性能。

    Mar, 2024

  • ROOTS: 3D 场景的对象中心表示和渲染

    本文提出了一种概率生成模型，用于学习从多个物体场景的部分观察中构建模块化和组合化的三维物体模型，该模型可以推断 3D 物体表示并从任意视角呈现场景。

    Jun, 2020

  • 多人动作捕捉的神经场景分解

    本文提出一种基于自监督学习的神经场景分解（NSD）方法，通过对多视角数据的学习，用三层信息表示人体姿态，其中包括边界框和相对深度，实例分割掩码和个体化外观信息以及 3D 姿态信息，该方法能够为小规模数据集训练 3D 姿态估计网络提供帮助。

    Mar, 2019

  • 从二维集合中引导的文本生成三维人体

    该研究提出了一种基于文本描述的三维人体生成方法，采用跨模态注意力将构成人体渲染与提取的时尚语义融合，以控制服装的形状、面料和颜色，实现对三维人体的高效控制和生成。

    May, 2023