G3DST：通过神经辐射场在场景和风格间推广3D风格迁移

Aug, 2024

G3DST：通过神经辐射场在场景和风格间推广3D风格迁移

G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles

Adil Meric, Umut Kocasari, Matthias Nießner, Barbara Roessle

TL;DR本研究解决了现有神经辐射场（NeRF）在3D风格迁移中需进行每场景优化的问题，提升了其适用性和效率。通过引入可泛化的NeRF模型与超网络，我们实现了在不同场景中无需场景特定模型就能生成风格化新视图的能力。研究表明，该方法在视觉质量上与逐场景方法相当，同时显著提高了效率和适用性，标志着3D风格迁移领域的一大进展。

Abstract

Neural Radiance Fields (NeRF) have emerged as a powerful tool for creating highly detailed and photorealistic scenes. Existing methods for NeRF-based 3D Style Transfer need extensive per-scene optimization for si

发现论文，激发创造

通过隐式表示和超网络实现3D场景的风格化

本文提出了一种基于Neural Radiance Fields的3D场景风格化方法，包括了使用超网络将样式信息转移入场景表示、使用隐式表示模型将场景分离成几何和外观分支，并采用两阶段训练和修补子采样方法优化模型以在任意视角生成具有所需风格的场景。

May, 2021

StylizedNeRF: 通过2D-3D相互学习将一致的3D场景风格化为Stylized NeRF

本文提出了一种新的双向学习框架用于3D场景风格化，结合2D图像风格化网络和NeRF，并引入了一种一致性损失函数来迁移NeRF的一致性先验知识到2D风格化网络中。实验结果表明，这种方法在视觉质量和长程一致性方面优于现有方法。

May, 2022

SNeRF：用于 3D 场景的风格化神经隐式表示

本研究提出了一种基于神经辐射场的三维场景风格化方法，采用新的训练方法，交替进行3D场景和风格化优化步骤，从而应用更加表现力的图像风格转移方法，生成高质量的具有交叉视角一致性的新视角图片。

Jul, 2022

UPST-NeRF：基于神经辐射场的三维场景通用光真实风格迁移

本文提出了一种针对三维场景的逼真风格转移框架，可以通过2D样式图片实现3D场景的逼真样式转移，并使用波束特征优化三维场景并联合优化高层次网络，以实现任意风格图片的场景逼真样式转移，并证明该方法在视觉质量和一致性方面优于现有方法。

Aug, 2022

NeRF-Art：基于文本驱动的神经辐射场风格化

本文提出了NeRF-Art，一种基于文本引导的NeRF风格化方法，采用新型的全局-局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化，并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。

Dec, 2022

StyleRF: 零样本 3D 神经辐射场风格迁移

提出了一种具有更高 3D 风格转移质量的 StyleRF 技术，该技术在辐射场的特征空间内进行样式转换，实现了准确的几何重建、高质量的风格化和具有拓展性的任意新样式的生成。

Mar, 2023

本地样式化的神经光辐射场

我们提出了一种基于局部风格转移的NeRF风格化框架，利用哈希网格编码来学习外观和几何组件的嵌入，并通过优化外观分支并保持几何分支固定来实现风格化，使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系，实验证明我们的方法在新视角合成方面得到了合理的风格化结果，并通过操纵和自定义区域对应关系具有灵活的可控性。

Sep, 2023

MM-NeRF：多模态引导的三维多风格神经辐射场转换

本文提出了一种名为MM-NeRF的新颖多模态引导的3D多风格迁移方法，通过投影多模态引导到CLIP空间并提取多模态风格特征来指导多风格的风格化，同时使用多头学习方案（MLS）解决了多风格迁移的不一致性和提升了风格化的质量。

Sep, 2023

基于NeRF和网格光栅化的混合解决方案的3D面部风格转换

通过使用神经辐射场（NeRF）和网格光栅化的混合框架，我们提出了一种解决3D面部风格迁移问题的方法，该方法能够在保持高质量几何重建的同时实现快速渲染，并且具有灵活的风格控制。

Nov, 2023

FPRF: 大规模3D神经辐射场的前馈逼真风格转移

FPRF是一种用于大规模三维神经辐射场的前馈光真实主义风格转移方法，它可以使用任意数量的风格参考图像对大规模三维场景进行风格化，同时保持多视角外观的一致性。它通过引入风格分解的三维神经辐射场来高效地风格化大规模三维场景，支持任意风格参考图像，并使用语义对应匹配和局部AdaIN实现多参考风格化，并通过在三维空间中直接应用语义匹配和风格转移过程来维持多视角的一致性。实验证明，FPRF能够以高质量实现对大规模场景进行光真实主义风格化。

Jan, 2024