May, 2021

通过隐式表示和超网络实现 3D 场景的风格化

PDF
TL;DR本文提出了一种基于 Neural Radiance Fields 的 3D 场景风格化方法，包括了使用超网络将样式信息转移入场景表示、使用隐式表示模型将场景分离成几何和外观分支，并采用两阶段训练和修补子采样方法优化模型以在任意视角生成具有所需风格的场景。
3d scene stylizationnovel view synthesisneural radiance fieldshypernetworkstyle transfer
发现论文，激发创造
  • SNeRF：用于 3D 场景的风格化神经隐式表示

    本研究提出了一种基于神经辐射场的三维场景风格化方法，采用新的训练方法，交替进行 3D 场景和风格化优化步骤，从而应用更加表现力的图像风格转移方法，生成高质量的具有交叉视角一致性的新视角图片。

    Jul, 2022

  • 用分层神经表示风格化稀疏视角的 3D 场景

    通过优化基于编码的场景表示与目标风格之间的关联，本文提出了一种针对稀疏视图场景的粗 - 精稀疏场景风格化框架，并采用内容强度退火的优化策略，实现了对稀疏视图场景的高质量风格化和更好的内容保留，通过大量实验验证了方法在风格化质量和效率方面的优越性。

    Apr, 2024

  • StylizedNeRF: 通过 2D-3D 相互学习将一致的 3D 场景风格化为 Stylized NeRF

    本文提出了一种新的双向学习框架用于 3D 场景风格化，结合 2D 图像风格化网络和 NeRF，并引入了一种一致性损失函数来迁移 NeRF 的一致性先验知识到 2D 风格化网络中。实验结果表明，这种方法在视觉质量和长程一致性方面优于现有方法。

    May, 2022

  • UPST-NeRF：基于神经辐射场的三维场景通用光真实风格迁移

    本文提出了一种针对三维场景的逼真风格转移框架，可以通过 2D 样式图片实现 3D 场景的逼真样式转移，并使用波束特征优化三维场景并联合优化高层次网络，以实现任意风格图片的场景逼真样式转移，并证明该方法在视觉质量和一致性方面优于现有方法。

    Aug, 2022

  • 本地样式化的神经光辐射场

    我们提出了一种基于局部风格转移的 NeRF 风格化框架，利用哈希网格编码来学习外观和几何组件的嵌入，并通过优化外观分支并保持几何分支固定来实现风格化，使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系，实验证明我们的方法在新视角合成方面得到了合理的风格化结果，并通过操纵和自定义区域对应关系具有灵活的可控性。

    Sep, 2023

  • 统一的隐式神经风格化

    本文提出了一种统一的内隐神经风格化框架 (INS)，其在多个任务设置中进行了广泛实验，包括新视图合成，内隐表面风格化和使用 MLPs 拟合图像，并通过分离样式映像和输入场景的内容隐含模块和样式隐含模块实现了从不同样式之间轻松地插值和生成具有新混合样式的图像，同时还提出了一种自我蒸馏几何一致性损失来规范 3D 场景中的几何，以维护样式的连续性。

    Apr, 2022

  • 走向 4D 人类视频风格化

    本文提出了一种 4D（3D 和时间）人体视频风格化的方法，该方法在同一个框架内解决了风格转移、新视角合成和人体动画的问题。通过利用神经辐射场（NeRFs）来表示视频，我们可以在渲染特征空间中进行风格化处理，从而实现对于新视角和新姿势的泛化。实验证明，该方法在风格纹理和时间连贯性方面取得了出色的平衡，优于现有方法，并可以适应新的姿势和视角，成为创作人体视频风格的多功能工具。

    Dec, 2023

  • 基于 NeRF 和网格光栅化的混合解决方案的 3D 面部风格转换

    通过使用神经辐射场（NeRF）和网格光栅化的混合框架，我们提出了一种解决 3D 面部风格迁移问题的方法，该方法能够在保持高质量几何重建的同时实现快速渲染，并且具有灵活的风格控制。

    Nov, 2023

  • 利普希茨网络转换辐射场以实现逼真的 3D 场景风格化

    提出了一种称为 LipRF 的学习框架，该框架利用 Lipschitz 映射，升级任意 2D PST 方法用于 3D 场景，并在光线场重建和 2D PST 的先验下学习 Lipschitz 网络以进行预训练外观的风格化，实验证明 LipRF 在照片逼真 3D 美学和物体外观编辑方面具有高质量和鲁棒性能。

    Mar, 2023

  • 学习新视角的风格化

    本文提出一种基于点云的方法，通过反投影图像特征到 3D 空间、点云聚合模块获取 3D 场景的风格信息并用线性转换矩阵对点云特征进行变换、将变换后的特征投影到 2D 空间获得新视角来生成具有一致风格的 3D 场景，实验证明该方法相比其他方法生成的配景画面更加一致和美观。

    May, 2021