GenN2N: 生成 NeRF2NeRF 翻译
本文提出了一个名为 Sem2NeRF 的框架,实现了从单视角语义掩码到 3D 物体模型的转换任务,并采用区域感知学习策略对映射的精度进行改进,其在两个基准数据集上表现优于多个强基线模型。
Mar, 2022
我们引入了一种名为 DN2N 的文本驱动编辑方法,使用现成的基于文本的图像编辑模型修改 3D 场景图片,并提出了一种去除噪声扰动的训练数据生成方法,以及交叉视图正则化项来帮助泛化 NeRF 模型,实现了友好、直观和实用的用户编辑体验,并实现了多种编辑类型的效果。
Sep, 2023
本文介绍了一种将 3D 意识 GAN(3D-aware GANs)与神经辐射场结合的新方法,用于进行 3D 一致的多类别图像转换,建议使用包括新的条件架构和有效培训策略等几种技术,并在两个数据集上进行了广泛的实验,定量和定性结果表明,我们成功地执行了多视角一致的 3D-aware I2I 转换方法。
Mar, 2023
Text2NeRF 是一种基于 NeRF 模型以自然语言描述为输入的 3D 场景生成方法,利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致,同时使用逐步场景修复和更新策略保证场景视角一致性。实验结果表明该方法能够生成高保真度,多视角一致性和多样性的真实感 3D 场景。
May, 2023
本文提出了一种名为 Edit-DiffNeRF 的框架,通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令,从而实现对 3D 场景的微调,同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。
Jun, 2023
通过使用 Geometry-enhanced NeRF (G-NeRF) 方法,在 novel view synthesis 中增强几何先验,通过几何引导的多视角合成方法和深度感知型训练,解决了多视角数据不足和单视角图像几何先验提取问题,并通过定剪方法和深度感知鉴别器进一步提高了几何品质。实验证明了我们方法在定量和定性结果上的有效性。
Apr, 2024
本研究着重于一次全新视图合成(O-NVS)任务,目标是在每个场景只给定一张参考图像的情况下合成逼真的新视图。提出了一种使用 GAN 和扩散的生成性细节补偿框架 GD^2-NeRF,该框架在推理时不需要微调,并且具有生动逼真的细节。
Jan, 2024
我们介绍了一种名为 ED-NeRF 的创新的三维 NeRF 编辑方法,通过将真实场景嵌入潜变扩散模型的潜入空间中,通过独特的细化层,实现了更快速和更易编辑的 NeRF 骨干,同时我们提出了一种改进的针对编辑的损失函数,这一损失函数在编辑目的上优于传统的得分扩散采样损失。实验结果表明,ED-NeRF 在更快的编辑速度和更好的输出质量方面胜过现有的最先进的三维编辑模型。
Oct, 2023
利用拓展到神经辐射场(NeRF)的编辑技术来编辑场景是复杂的,本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法,并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明,该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。
Apr, 2024
利用文本驱动的 3D 场景生成技术,在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复,同时结合查询和聚合全局 3D 信息来生成高质量的新内容,并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。
Mar, 2024