从单一视角图像中学习可控的三维扩散模型
该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性,并提出了一种无监督的方法,可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比,该方法允许合成与视角或物体姿势变化一致的场景,可用于实现 3D 可控图像合成,生成具有可解释性的表示形式。
Dec, 2019
我们提出了一种名为3DiM的扩散模型,用于3D新视图合成,能够将单个输入视图转换为许多视图上的一致且清晰的完成。 3DiM的核心组成部分是姿态条件的图像到图像扩散模型,它以源视图及其姿态作为输入,并将新姿态的视图作为输出生成。
Oct, 2022
该研究使用基于 GAN latent space 的技术和生成式扩散模型,通过条件输入的两个 latent codes(空间内容掩码和扁平化样式嵌入)对其生成进行控制,从而实现图像的有效操控和转化。
Feb, 2023
本研究提出了一种新的扩散设置,可以仅通过2D图像监督就可以进行端到端的训练,同时提出的图像形成模型将模型内存与空间内存分离,以应对3D扩散模型在训练上遇到的问题,并在CO3D数据集上进行的实验表明,该方法是可扩展的,具有稳健性,与现有的3D生成建模方法在样本质量和保真度方面相当竞争。
Mar, 2023
提出了一种基于扩散的3D形状生成框架,名为局部注意力SDF扩散,可通过2D草图图像输入建模可信的3D形状,实现局部控制性和模型普适性的提高。
May, 2023
本篇论文提出了一种利用3D geometry control和visual prompts的扩展diffusion models生成图像的方法,可应用于计算机视觉任务并经过多个数据集的多次实验验证其效果。
Jun, 2023
基于视图空间和潜在扩散模型的3D感知图像合成方法,通过压缩潜在表示学习图像的3D结构,实现高质量的3D-consistent图像合成,无需多视角或3D几何的直接监督,不依赖于规范化的相机坐标。
Nov, 2023
利用预训练扩散模型的一种新型学习方法,直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模,从而实现了高保真度和逼真度的三维内容生成,条件为单张图像和提示。通过利用生成对抗网络(GANs)的潜在空间和表达力丰富的扩散模型先验,我们的方法促进了各种三维应用,包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明,与以往的工作相比,我们的流程在生成质量和多样性方面表现出更强的优势。
Dec, 2023
LN3Diff是一个新颖的框架,通过使用3D感知架构和变分自编码器将输入图像编码到结构化、紧凑和3D潜空间中,然后通过基于Transformer的解码器将潜空间解码为高容量的3D神经场,从而在3D生成、单目3D重建和有条件3D生成等各种数据集上展现出卓越的表现,并在推理速度方面超越了现有的3D扩散方法。
Mar, 2024