StylizedNeRF: 通过2D-3D相互学习将一致的3D场景风格化为Stylized NeRF
本文提出了一种基于Neural Radiance Fields的3D场景风格化方法,包括了使用超网络将样式信息转移入场景表示、使用隐式表示模型将场景分离成几何和外观分支,并采用两阶段训练和修补子采样方法优化模型以在任意视角生成具有所需风格的场景。
May, 2021
本研究提出了一种基于神经辐射场的三维场景风格化方法,采用新的训练方法,交替进行3D场景和风格化优化步骤,从而应用更加表现力的图像风格转移方法,生成高质量的具有交叉视角一致性的新视角图片。
Jul, 2022
本文提出了NeRF-Art,一种基于文本引导的NeRF风格化方法,采用新型的全局-局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化,并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。
Dec, 2022
提出了一种称为 LipRF 的学习框架,该框架利用 Lipschitz 映射,升级任意 2D PST 方法用于 3D 场景,并在光线场重建和 2D PST 的先验下学习 Lipschitz 网络以进行预训练外观的风格化,实验证明 LipRF 在照片逼真 3D 美学和物体外观编辑方面具有高质量和鲁棒性能。
Mar, 2023
我们提出了一种基于局部风格转移的NeRF风格化框架,利用哈希网格编码来学习外观和几何组件的嵌入,并通过优化外观分支并保持几何分支固定来实现风格化,使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系,实验证明我们的方法在新视角合成方面得到了合理的风格化结果,并通过操纵和自定义区域对应关系具有灵活的可控性。
Sep, 2023
本文提出了一种名为MM-NeRF的新颖多模态引导的3D多风格迁移方法,通过投影多模态引导到CLIP空间并提取多模态风格特征来指导多风格的风格化,同时使用多头学习方案(MLS)解决了多风格迁移的不一致性和提升了风格化的质量。
Sep, 2023
本文介绍了StylizedGS,一种具有对感知因素可调控能力的3D神经风格迁移框架,基于3D高斯粒子喷洒(3DGS)表征。通过引入GS滤波器消除飘逸物,然后使用基于最近邻的风格损失来通过微调3DGS的几何和颜色参数来实现风格化,同时提出了一种具有其他正则化的深度保持损失来防止几何内容的篡改。此外,借助特别设计的损失函数,StylizedGS使用户可以在风格化过程中控制颜色、风格化比例和区域,具备定制化能力。广泛的实验证明了我们的方法在风格化质量和推理帧数方面的效果和效率。
Apr, 2024
通过优化基于编码的场景表示与目标风格之间的关联,本文提出了一种针对稀疏视图场景的粗-精稀疏场景风格化框架,并采用内容强度退火的优化策略,实现了对稀疏视图场景的高质量风格化和更好的内容保留,通过大量实验验证了方法在风格化质量和效率方面的优越性。
Apr, 2024
通过使用2D图像扩散模型来改良3D场景,我们提出了一种简单但有效的流程;通过细化源NeRF模型以及使用风格化图像生成的样式对齐的图像扩散模型,实现3D风格转移。
Jun, 2024
本研究解决了现有神经辐射场(NeRF)在3D风格迁移中需进行每场景优化的问题,提升了其适用性和效率。通过引入可泛化的NeRF模型与超网络,我们实现了在不同场景中无需场景特定模型就能生成风格化新视图的能力。研究表明,该方法在视觉质量上与逐场景方法相当,同时显著提高了效率和适用性,标志着3D风格迁移领域的一大进展。
Aug, 2024