SIGNeRF: 基于场景集成生成的神经辐射场
本文提出EfficientNeRF,一种高效的基于NeRF的方法,用于表示3D场景和合成新视图图像。通过在粗略和精细阶段分别提出有效的和关键的采样方法,以显著提高采样效率。同时,设计一种新的数据结构来加速整个场景的缓存以加速渲染速度。结果表明,本方法可以缩短88%以上的训练时间,实现超过200 FPS的渲染速度,而仍保持竞争力的准确性,从而促进NeRF 在现实世界中的实际应用和推广。
Jun, 2022
DiffRF是一种针对三维辐射场合成的新方法,利用去噪扩散概率模型生成体积辐射场。通过将去噪公式与渲染损失配对,我们的模型可以学习偏态先验,使其倾向于良好的图像质量而不是试图复制浮动伪像等拟合误差。与3D GAN相比,我们的扩散方法自然地实现了条件生成,例如掩蔽完成或推理时的单视图3D合成。
Dec, 2022
本文提出了一种称为SSDNeRF的新方法,它使用表达能力强的Diffusion Model从多视图图像中学习神经辐射场(NeRF)的可推广先验,实现3D重建和先验学习的同时, 证明了该方法在无条件生成和单/稀疏视图3D重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。
Apr, 2023
我们通过使用扩散先验来改进已有的文本生成3D模型的技术,提出了一种新的训练方法,并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。
May, 2023
本文提出了一种新颖的框架,可以利用扩散模型实现对神经场景中的3D内容进行编辑,此方法可以有效地改善NeRF的可编辑性、多样性和应用范围,验证结果表明在不同的文本提示下,该算法对NeRF中的3D目标具有改进的效果。
Jun, 2023
本文提出了一种名为Edit-DiffNeRF的框架,通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令,从而实现对3D场景的微调,同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。
Jun, 2023
Blended-NeRF是一种基于文本提示或图像贴片及3D ROI盒子的方法,利用预训练的语言-图像模型来操纵合成并混合一个新对象到现有的NeRF场景中实现对现有场景感兴趣区域的编辑,使用新颖的容积混合技术进行无痕混合。
Jun, 2023
利用生成模型Inpaint4DNeRF,该论文提出了一种基于稳定扩散模型(如ControlNet)的直接生成方法,在编辑由NeRF表示的三维场景时,生成底层完成的背景内容,不论是静态还是动态,以实现NeRF修复的双重优势:通过生成种子图像和它们的三维代理,我们可以分别生成一小部分包含合理内容的完成图像,然后在所有完成图像中进行三维多视图一致性维护。
Dec, 2023
利用拓展到神经辐射场(NeRF)的编辑技术来编辑场景是复杂的,本文提出了利用NeRF场景的几何信息作为桥梁来整合2D编辑的方法,并引入了一种填充方法来确保对不同图像的2D编辑具有鲁棒性。结果表明,该方法比现有的文本驱动NeRF场景编辑方法实现了更加一致、逼真和详细的编辑效果。
Apr, 2024