我们提出了一种超快速收敛的方法,通过从拍摄场景的一组图像中重建场景辐射场来最新的视点合成,该方法采用密度体素网格表示场景几何和 shallow network 表示复杂的视角相关的外观,同时采用了后激活插值和一些先验约束技术,从而使训练时间缩短到 15 分钟以内,并达到了前沿的质量水平。
Nov, 2021
本文提出了RenderDiffusion,这是第一个用于3D生成和推断的扩散模型,使用仅有的单眼2D监督进行训练,并采用新颖的图像去噪架构进行中间的三维表示,以提供强烈归纳结构,同时仅需要2D监督。我们在FFHQ、AFHQ、ShapeNet和CLEVR数据集上评估了RenderDiffusion,展示了生成3D场景和从2D图像中推理3D场景的竞争性表现。此外,我们的扩散型方法还使我们能够使用2D修复来编辑3D场景。
Nov, 2022
本文提出了一种称为SSDNeRF的新方法,它使用表达能力强的Diffusion Model从多视图图像中学习神经辐射场(NeRF)的可推广先验,实现3D重建和先验学习的同时, 证明了该方法在无条件生成和单/稀疏视图3D重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。
Apr, 2023
我们通过使用扩散先验来改进已有的文本生成3D模型的技术,提出了一种新的训练方法,并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。
May, 2023
通过仅使用单个RGB图像作为输入,LFdiff采用基于扩散的生成框架针对光场合成进行设计,利用单目深度估计网络估计视差并结合新颖的条件方案和面向光场数据的噪声估计网络。实验结果表明,LFdiff在综合光场合成方面具有卓越表现,并且生成的光场数据具有广泛的应用性,涵盖了光场超分辨率和重焦等应用领域。
Feb, 2024
利用间接扩散引导的 NeRF (ID-NeRF) 框架通过利用精炼的扩散先验指导从生成性的角度解决 Gen-NeRF 中的不确定性,避免了直接约束的混乱取样导致的模型混淆,并经过多个基准测试表明在处理稀疏输入的不确定性方面具有卓越的性能。
我们提出了一种新的框架,通过对扩散模型的温和性进行个性化设置并使用掩蔽对抗训练来缓解图像条件中的文本移位问题,从而解决了使用NeRF进行重建时遇到的几个问题,并在各种真实场景上实现了最先进的NeRF修复结果。
Apr, 2024
本文提出了一种基于扩散的反混叠方法(Drantal-NeRF),通过将混叠伪影视为对干净真实图像的一种降质模型来从低级恢复的角度考虑了反混叠问题,利用扩散模型中的强大先验知识还原与次优低质量对应物相比具有高逼真度的反混叠图像,并通过特征包裹操作和VAE解码器的微调实现多视角恢复一致性和更好地适应特定场景的数据分布,该方法易于实现且对各种NeRF主干网络适用,在具有挑战性的大规模城市场景和无界360度场景上进行了广泛实验,取得了显著的定性和定量改进。
Jul, 2024
本研究解决了在单一光照条件下多视图数据中重照明光照场的不足问题。通过利用从二维图像扩散模型提取的先验信息,提出了一种新的方法来创建可重照明的光照场,并展示了该方法可以有效地利用二维扩散模型的先验,实现在完整场景下的逼真3D重照明。研究结果表明,该方法在单一光照条件下的合成和现实多视图数据上实现了良好的效果。
Sep, 2024
本研究解决了在单一光照条件下捕获的多视角数据中辐射场重照明受到严重约束的问题。作者提出了一种利用2D图像扩散模型提取的先验信息,在单光照数据上创建可重照明辐射场的方法,展示了该方法能够实现完整场景的真实3D重照明效果,潜在地推动了计算机视觉和图形学领域的进步。