Style-NeRF2NeRF: 从样式对齐的多视图图像中进行三维样式转移
本文提出了一种新的双向学习框架用于 3D 场景风格化,结合 2D 图像风格化网络和 NeRF,并引入了一种一致性损失函数来迁移 NeRF 的一致性先验知识到 2D 风格化网络中。实验结果表明,这种方法在视觉质量和长程一致性方面优于现有方法。
May, 2022
本文提出了一种名为 MM-NeRF 的新颖多模态引导的 3D 多风格迁移方法,通过投影多模态引导到 CLIP 空间并提取多模态风格特征来指导多风格的风格化,同时使用多头学习方案(MLS)解决了多风格迁移的不一致性和提升了风格化的质量。
Sep, 2023
通过使用神经辐射场(NeRF)和网格光栅化的混合框架,我们提出了一种解决 3D 面部风格迁移问题的方法,该方法能够在保持高质量几何重建的同时实现快速渲染,并且具有灵活的风格控制。
Nov, 2023
提出了 StyleNeRF,这是一种考虑到 3D 空间的生成模型,可用于在未结构化的 2D 图像上进行高分辨率照片般逼真的图像合成,其能够通过整合神经辐射场(NeRF)到基于样式的生成器中来解决高分辨率图像合成方面的挑战,同时保持 3D 一致性。
Oct, 2021
本文提出了一种针对三维场景的逼真风格转移框架,可以通过 2D 样式图片实现 3D 场景的逼真样式转移,并使用波束特征优化三维场景并联合优化高层次网络,以实现任意风格图片的场景逼真样式转移,并证明该方法在视觉质量和一致性方面优于现有方法。
Aug, 2022
我们提出了一种基于局部风格转移的 NeRF 风格化框架,利用哈希网格编码来学习外观和几何组件的嵌入,并通过优化外观分支并保持几何分支固定来实现风格化,使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系,实验证明我们的方法在新视角合成方面得到了合理的风格化结果,并通过操纵和自定义区域对应关系具有灵活的可控性。
Sep, 2023
本文提出了 NeRF-Art,一种基于文本引导的 NeRF 风格化方法,采用新型的全局 - 局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化,并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。
Dec, 2022
本研究提出了一种基于神经辐射场的三维场景风格化方法,采用新的训练方法,交替进行 3D 场景和风格化优化步骤,从而应用更加表现力的图像风格转移方法,生成高质量的具有交叉视角一致性的新视角图片。
Jul, 2022
本文提出了一种称为 SSDNeRF 的新方法,它使用表达能力强的 Diffusion Model 从多视图图像中学习神经辐射场(NeRF)的可推广先验,实现 3D 重建和先验学习的同时,证明了该方法在无条件生成和单 / 稀疏视图 3D 重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。
Apr, 2023
ArtNeRF 是一种从三维感知生成对抗网络 (GAN) 派生的新型人脸风格化框架,通过利用表达能力强的生成器合成风格化人脸,并利用三分支鉴别器模块改善生成的人脸的视觉质量和风格一致性,通过对比学习实现一个基于风格编码器来提取风格图像的稳健低维嵌入,以赋予生成器对各种风格的知识,并通过自适应风格融合模块平滑跨域迁移学习的训练过程,实现了图像的高分辨率实时渲染。大量实验表明,ArtNeRF 在生成任意风格的高质量三维人脸方面具有通用性。
Apr, 2024