CVPRMay, 2022

StylizedNeRF: 通过 2D-3D 相互学习将一致的 3D 场景风格化为 Stylized NeRF

PDF
TL;DR本文提出了一种新的双向学习框架用于 3D 场景风格化，结合 2D 图像风格化网络和 NeRF，并引入了一种一致性损失函数来迁移 NeRF 的一致性先验知识到 2D 风格化网络中。实验结果表明，这种方法在视觉质量和长程一致性方面优于现有方法。
3d scene stylizationnerfmutual learning framework2d stylization networkconsistency loss
发现论文，激发创造
  • SNeRF：用于 3D 场景的风格化神经隐式表示

    本研究提出了一种基于神经辐射场的三维场景风格化方法，采用新的训练方法，交替进行 3D 场景和风格化优化步骤，从而应用更加表现力的图像风格转移方法，生成高质量的具有交叉视角一致性的新视角图片。

    Jul, 2022

  • 本地样式化的神经光辐射场

    我们提出了一种基于局部风格转移的 NeRF 风格化框架，利用哈希网格编码来学习外观和几何组件的嵌入，并通过优化外观分支并保持几何分支固定来实现风格化，使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系，实验证明我们的方法在新视角合成方面得到了合理的风格化结果，并通过操纵和自定义区域对应关系具有灵活的可控性。

    Sep, 2023

  • UPST-NeRF：基于神经辐射场的三维场景通用光真实风格迁移

    本文提出了一种针对三维场景的逼真风格转移框架，可以通过 2D 样式图片实现 3D 场景的逼真样式转移，并使用波束特征优化三维场景并联合优化高层次网络，以实现任意风格图片的场景逼真样式转移，并证明该方法在视觉质量和一致性方面优于现有方法。

    Aug, 2022

  • 通过隐式表示和超网络实现 3D 场景的风格化

    本文提出了一种基于 Neural Radiance Fields 的 3D 场景风格化方法，包括了使用超网络将样式信息转移入场景表示、使用隐式表示模型将场景分离成几何和外观分支，并采用两阶段训练和修补子采样方法优化模型以在任意视角生成具有所需风格的场景。

    May, 2021

  • Style-NeRF2NeRF: 从样式对齐的多视图图像中进行三维样式转移

    通过使用 2D 图像扩散模型来改良 3D 场景，我们提出了一种简单但有效的流程；通过细化源 NeRF 模型以及使用风格化图像生成的样式对齐的图像扩散模型，实现 3D 风格转移。

    Jun, 2024

  • 基于 NeRF 和网格光栅化的混合解决方案的 3D 面部风格转换

    通过使用神经辐射场（NeRF）和网格光栅化的混合框架，我们提出了一种解决 3D 面部风格迁移问题的方法，该方法能够在保持高质量几何重建的同时实现快速渲染，并且具有灵活的风格控制。

    Nov, 2023

  • ArtNeRF: 一种用于 3D 感知的卡通化人脸合成的风格化神经场

    ArtNeRF 是一种从三维感知生成对抗网络 (GAN) 派生的新型人脸风格化框架，通过利用表达能力强的生成器合成风格化人脸，并利用三分支鉴别器模块改善生成的人脸的视觉质量和风格一致性，通过对比学习实现一个基于风格编码器来提取风格图像的稳健低维嵌入，以赋予生成器对各种风格的知识，并通过自适应风格融合模块平滑跨域迁移学习的训练过程，实现了图像的高分辨率实时渲染。大量实验表明，ArtNeRF 在生成任意风格的高质量三维人脸方面具有通用性。

    Apr, 2024

  • NeRF-Art：基于文本驱动的神经辐射场风格化

    本文提出了 NeRF-Art，一种基于文本引导的 NeRF 风格化方法，采用新型的全局 - 局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化，并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。

    Dec, 2022

  • StyleNeRF: 一种基于风格的 3D 感知生成器用于高分辨率图像合成

    提出了 StyleNeRF，这是一种考虑到 3D 空间的生成模型，可用于在未结构化的 2D 图像上进行高分辨率照片般逼真的图像合成，其能够通过整合神经辐射场（NeRF）到基于样式的生成器中来解决高分辨率图像合成方面的挑战，同时保持 3D 一致性。

    Oct, 2021

  • MM-NeRF：多模态引导的三维多风格神经辐射场转换

    本文提出了一种名为 MM-NeRF 的新颖多模态引导的 3D 多风格迁移方法，通过投影多模态引导到 CLIP 空间并提取多模态风格特征来指导多风格的风格化，同时使用多头学习方案（MLS）解决了多风格迁移的不一致性和提升了风格化的质量。

    Sep, 2023