CVPRDec, 2019

面向无监督学习的生成模型，用于三维可控图像合成

PDF
TL;DR该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。
generative adversarial networks3d controllable image synthesisunsupervised learninglatent 3d factorsinterpretable representation
发现论文，激发创造
  • 深度学习下可控图像合成的调查

    通过深度学习技术与生成模型的应用，研究了 3D 可控图像合成问题，包括视角 / 姿势可控图像合成、结构 / 形状可控图像合成以及 3D 重新照明等方面。

    Jul, 2023

  • 自然图像中的无监督生成式三维形状学习

    本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

    Oct, 2019

  • 3D 感知图像合成综述

    介绍了近年来深度学习实现的视觉内容创作方法的显著进展，包括 3D 感知生成图像合成，旨在提供一个关于 3D 感知图像合成的综述，为相关领域的研究工作提供有用的参考，并通过我们的讨论部分激发未来的研究方向。

    Oct, 2022

  • 2D GANs 遇见无监督单视角 3D 重建

    提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

    Jul, 2022

  • RGBD-GAN：通过 RGBD 图像合成从自然图像数据集中无监督学习 3D 表示

    该研究提出了一种基于 RGBD-GAN 的新型生成模型，可以从 2D 图像中实现无监督的 3D 表示学习，并能通过相机参数进行图像生成和深度图像生成，无需 3D 注释，通过实验证明其对各种生成器体系结构都具有普适性。

    Sep, 2019

  • 三维感知视频生成

    本文探讨了生成对抗网络 (GANs)，将神经隐式表示与时间感知区别器相结合，发展了一种 GAN 框架，仅用单目视频合成了 3D 视频，能够学习可分解的 3D 结构和运动的丰富嵌入，实现了新的时空渲染视觉效果，同时也能产生与现有 3D 或视频 GANs 相媲美的图像质量。

    Jun, 2022

  • SynthForge: 利用可控 3D 生成模型合成高质量人脸数据集

    建立在真实数据基础上的生成模型能够以可控的方式呈现逼真的数据，但由于缺乏三维一致性注释和生成样本分布受限等问题，使用这些生成模型生成的数据进行下游任务训练仍未得到充分探索。为了解决这些挑战，我们从一个现有的可控生成模型中提取三维一致性注释，使数据在下游任务中发挥作用，实验证明使用仅生成的合成数据可以与最先进的模型竞争，具有解决下游任务的潜力。

    Jun, 2024

  • 多视角一致性生成对抗网络用于 3D 感知图像合成

    提出了一种基于多视角一致性生成对抗网络（MVCGAN）的高质量 3D 感知图像综合方法，采用几何约束技术，利用深度和相机变换矩阵等信息实现多视角联合优化，同时采用两阶段训练策略和混合训练技术提高模型的生成图像质量，实验结果表明，本方法达到了最先进的性能水平。

    Apr, 2022

  • CAMPARI: 相机感知的分解式生成神经辐射场

    本文提出了一种深度生成模型，它是基于 3D 且与摄像机相关的，通过将场景分成背景和前景模型，并学习摄像机与图像生成器，达到了更高效且可分离的场景再现效果。

    Mar, 2021

  • 3D 表征的深度生成模型：一项调查

    本文概述了 3D 生成方法和 3D 感知图像合成的算法和表示方法的发展，并探讨了面临的困难和挑战。

    Oct, 2022