Sep, 2023

MM-NeRF：多模态引导的三维多风格神经辐射场转换

PDF
TL;DR本文提出了一种名为 MM-NeRF 的新颖多模态引导的 3D 多风格迁移方法，通过投影多模态引导到 CLIP 空间并提取多模态风格特征来指导多风格的风格化，同时使用多头学习方案（MLS）解决了多风格迁移的不一致性和提升了风格化的质量。
3d style transferneural radiance fieldmultimodal guidancetexture detailsmulti-style transfer
发现论文，激发创造
  • Style-NeRF2NeRF: 从样式对齐的多视图图像中进行三维样式转移

    通过使用 2D 图像扩散模型来改良 3D 场景，我们提出了一种简单但有效的流程；通过细化源 NeRF 模型以及使用风格化图像生成的样式对齐的图像扩散模型，实现 3D 风格转移。

    Jun, 2024

  • NeRF-Art：基于文本驱动的神经辐射场风格化

    本文提出了 NeRF-Art，一种基于文本引导的 NeRF 风格化方法，采用新型的全局 - 局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化，并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。

    Dec, 2022

  • StylizedNeRF: 通过 2D-3D 相互学习将一致的 3D 场景风格化为 Stylized NeRF

    本文提出了一种新的双向学习框架用于 3D 场景风格化，结合 2D 图像风格化网络和 NeRF，并引入了一种一致性损失函数来迁移 NeRF 的一致性先验知识到 2D 风格化网络中。实验结果表明，这种方法在视觉质量和长程一致性方面优于现有方法。

    May, 2022

  • 基于 NeRF 和网格光栅化的混合解决方案的 3D 面部风格转换

    通过使用神经辐射场（NeRF）和网格光栅化的混合框架，我们提出了一种解决 3D 面部风格迁移问题的方法，该方法能够在保持高质量几何重建的同时实现快速渲染，并且具有灵活的风格控制。

    Nov, 2023

  • UPST-NeRF：基于神经辐射场的三维场景通用光真实风格迁移

    本文提出了一种针对三维场景的逼真风格转移框架，可以通过 2D 样式图片实现 3D 场景的逼真样式转移，并使用波束特征优化三维场景并联合优化高层次网络，以实现任意风格图片的场景逼真样式转移，并证明该方法在视觉质量和一致性方面优于现有方法。

    Aug, 2022

  • M^2DNeRF：带有 3D 特征域的多模态分解 NeRF

    多模态分解 NeRF（${M^2D}$NeRF）是一种能够进行文本和视觉补丁编辑的单一模型，通过使用多模态特征蒸馏来整合来自预训练视觉和语言模型的教师特征到三维语义特征体积，从而促进一致的三维编辑。实验证明，在三维场景分解任务中，相较于以前的基于 NeRF 的方法具有更优异的性能。

    May, 2024

  • StyleDyRF：0 增动态神经辐射场的零迁移

    StyleDyRF 是一种处理动态场景的 4D 样式转移方法，通过变形规范特征体积并使用数据驱动的方式学习线性样式转换矩阵，从而在零样本的情况下生成 4D 逼真的样式转移结果，并在视觉质量和一致性方面优于现有方法。

    Mar, 2024

  • SNeRF：用于 3D 场景的风格化神经隐式表示

    本研究提出了一种基于神经辐射场的三维场景风格化方法，采用新的训练方法，交替进行 3D 场景和风格化优化步骤，从而应用更加表现力的图像风格转移方法，生成高质量的具有交叉视角一致性的新视角图片。

    Jul, 2022

  • StyleNeRF: 一种基于风格的 3D 感知生成器用于高分辨率图像合成

    提出了 StyleNeRF，这是一种考虑到 3D 空间的生成模型，可用于在未结构化的 2D 图像上进行高分辨率照片般逼真的图像合成，其能够通过整合神经辐射场（NeRF）到基于样式的生成器中来解决高分辨率图像合成方面的挑战，同时保持 3D 一致性。

    Oct, 2021

  • 本地样式化的神经光辐射场

    我们提出了一种基于局部风格转移的 NeRF 风格化框架，利用哈希网格编码来学习外观和几何组件的嵌入，并通过优化外观分支并保持几何分支固定来实现风格化，使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系，实验证明我们的方法在新视角合成方面得到了合理的风格化结果，并通过操纵和自定义区域对应关系具有灵活的可控性。

    Sep, 2023