CVPRMar, 2022

用单目图像学习具有解缠几何和外观的 3D 生成模型

PDF
TL;DR本文提出了一种基于 3D 生成模型的非刚性可变形场景表达方法，通过联合学习规范模型及其变形，并使用姿态正则化损失来改善模型的场景与摄影视角的分离性，同时还可以嵌入真实图像中并进行编辑。
3d generative modelsgansdisentangled modelnon-rigid deformable scene formulationediting of real images
发现论文，激发创造
  • 自然图像中的无监督生成式三维形状学习

    本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

    Oct, 2019

  • 生成式潜在形状模型的几何分离

    本文提出了一种无监督的方法来将三维点云的变分自编码器的潜空间进行划分，结果展现出直观可解释的行为，在姿态转换和姿态感知形状检索等任务上表现出色，为人工智能中 3D 形状表示问题提供重要思路。

    Aug, 2019

  • 通过自监督静态 - 动态解缠缚，从单幅图像中查看 3D 物体

    本文提出一种无监督学习方法，通过观察未标记的多视角视频，学习将一个包含多种物体的复杂场景的单幅图像观察映射到一个三维神经场景表示，可以将该表示分解为可移动和不可移动的部分，并通过神经渲染进行自监督训练，从而实现基于对象的三维表示、新视角合成、实例分割和三维边界框预测等多种下游任务，并通过对象操作（如删除、插入和刚体运动）实现场景编辑。

    Jul, 2022

  • 通过布局学习实现解耦的 3D 场景生成

    我们介绍了一种通过大型预训练的文本到图像模型实现对三维场景进行解缠的方法。我们的关键观点是，通过重新排列具有空间先验的三维场景的部分，可以发现物体的存在，并且这些重排后的场景仍然是原场景的有效配置。具体而言，我们的方法从头开始联合优化多个 NeRFs，每个 NeRF 代表一个物体，以及一组将这些物体合成为场景的布局。然后，我们鼓励这些合成的场景在图像生成器中符合分布。我们展示了尽管简单，我们的方法成功地生成了分解为个体物体的三维场景，从而在文本到三维内容创建中实现了新的功能。请参阅我们的项目页面，查看更多结果和交互式演示。

    Feb, 2024

  • 3D 人体姿势估计中的姿势和外貌解耦的理解

    我们通过对自监督学习下三维人体姿势估计方法进行深入分析，测试了现有的分离表示学习方法从外貌信息中分离出姿势信息的程度，并发现这些方法的姿势编码包含了相当数量的外貌信息。

    Sep, 2023

  • 视觉物体网络：利用解缠的三维表示进行图像生成

    通过对经典图形渲染管道的启发，我们提出了视觉对象网络（VON）—— 一种生成对象自然图像的新型生成模型，它生成具有解缠的 3D 表示的对象自然图像，让图像不仅具备比最先进的 2D 图像合成方法更加逼真的外观，还能进行各种 3D 操作。

    Dec, 2018

  • 面向无监督学习的生成模型，用于三维可控图像合成

    该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

    Dec, 2019

  • 图像合成的无监督鲁棒性潜在特征分离

    通过学习一个新的方法，深度生成模型可以不需要姿态注释便可学习到表征物体外观和姿态等属性的独立潜在特征，这些特征是可以解释的，且能够生成和修改图像。

    Oct, 2019

  • 通过 3D 模拟对比学习实现解耦和可控的人脸图像生成

    通过对抗性学习和比较对生成的图像进行区分，利用控制潜在变量的方式实现虚拟人脸图像的生成

    Apr, 2020

  • 无监督学习使用深度非刚性运动结构的全解缕的三维可塑模型的抬升自编码器

    介绍了一种新的 3D 表面基础的物体类别生成模型 - Lifting Autoencoders，该模型结合了非刚性结构运动、图像形成和形态模型等的思想，能完全无监督地从非结构化的图像集中学习可控、几何的 3D 类别生成模型，并使用可微渲染器生成 RGB 图像和对抗性训练的细化网络实现清晰逼真的图像重建结果。其生成模型可以通过可识别的几何和外观因素进行控制，从而进行身份、表达、3D 姿势和光照属性的逼真图像操作。

    Apr, 2019