Jun, 2024

多风格自适应正规域的神经光辐射

PDF
TL;DR我们提出了一种结合 AdaIN 和 NeRF 的新型流程，用于风格化的新视角合成任务，相比之前的工作，我们做出了以下贡献：1）我们简化了流程。2）我们扩展了模型的能力，以处理多风格任务。3）我们修改了模型架构，以在具有强烈笔触的风格上表现出色。4）我们在多风格模型上实现了风格插值，使我们能够控制任意两种风格之间的风格和风格强度，从而更好地控制风格化的强度。
adainnerfstylized novel view synthesismulti-style taskstyle interpolation
发现论文，激发创造
  • ArtNeRF: 一种用于 3D 感知的卡通化人脸合成的风格化神经场

    ArtNeRF 是一种从三维感知生成对抗网络 (GAN) 派生的新型人脸风格化框架，通过利用表达能力强的生成器合成风格化人脸，并利用三分支鉴别器模块改善生成的人脸的视觉质量和风格一致性，通过对比学习实现一个基于风格编码器来提取风格图像的稳健低维嵌入，以赋予生成器对各种风格的知识，并通过自适应风格融合模块平滑跨域迁移学习的训练过程，实现了图像的高分辨率实时渲染。大量实验表明，ArtNeRF 在生成任意风格的高质量三维人脸方面具有通用性。

    Apr, 2024

  • NeRF-Art：基于文本驱动的神经辐射场风格化

    本文提出了 NeRF-Art，一种基于文本引导的 NeRF 风格化方法，采用新型的全局 - 局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化，并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。

    Dec, 2022

  • 本地样式化的神经光辐射场

    我们提出了一种基于局部风格转移的 NeRF 风格化框架，利用哈希网格编码来学习外观和几何组件的嵌入，并通过优化外观分支并保持几何分支固定来实现风格化，使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系，实验证明我们的方法在新视角合成方面得到了合理的风格化结果，并通过操纵和自定义区域对应关系具有灵活的可控性。

    Sep, 2023

  • SNeRF：用于 3D 场景的风格化神经隐式表示

    本研究提出了一种基于神经辐射场的三维场景风格化方法，采用新的训练方法，交替进行 3D 场景和风格化优化步骤，从而应用更加表现力的图像风格转移方法，生成高质量的具有交叉视角一致性的新视角图片。

    Jul, 2022

  • Style-NeRF2NeRF: 从样式对齐的多视图图像中进行三维样式转移

    通过使用 2D 图像扩散模型来改良 3D 场景，我们提出了一种简单但有效的流程；通过细化源 NeRF 模型以及使用风格化图像生成的样式对齐的图像扩散模型，实现 3D 风格转移。

    Jun, 2024

  • BID-NeRF：基于逆向神经辐射场的 RGB-D 图像姿态估计

    我们旨在改进反转神经辐射场（iNeRF）算法，将图像姿态估计问题定义为基于 NeRF 的迭代线性优化。通过扩展具有基于深度的损失函数的本地化优化目标，引入基于多图像的损失函数，省略层次化采样以提高收敛速度并扩展收敛基。

    Oct, 2023

  • MM-NeRF：多模态引导的三维多风格神经辐射场转换

    本文提出了一种名为 MM-NeRF 的新颖多模态引导的 3D 多风格迁移方法，通过投影多模态引导到 CLIP 空间并提取多模态风格特征来指导多风格的风格化，同时使用多头学习方案（MLS）解决了多风格迁移的不一致性和提升了风格化的质量。

    Sep, 2023

  • UPST-NeRF：基于神经辐射场的三维场景通用光真实风格迁移

    本文提出了一种针对三维场景的逼真风格转移框架，可以通过 2D 样式图片实现 3D 场景的逼真样式转移，并使用波束特征优化三维场景并联合优化高层次网络，以实现任意风格图片的场景逼真样式转移，并证明该方法在视觉质量和一致性方面优于现有方法。

    Aug, 2022

  • 通过隐式表示和超网络实现 3D 场景的风格化

    本文提出了一种基于 Neural Radiance Fields 的 3D 场景风格化方法，包括了使用超网络将样式信息转移入场景表示、使用隐式表示模型将场景分离成几何和外观分支，并采用两阶段训练和修补子采样方法优化模型以在任意视角生成具有所需风格的场景。

    May, 2021

  • 基于 NeRF 和网格光栅化的混合解决方案的 3D 面部风格转换

    通过使用神经辐射场（NeRF）和网格光栅化的混合框架，我们提出了一种解决 3D 面部风格迁移问题的方法，该方法能够在保持高质量几何重建的同时实现快速渲染，并且具有灵活的风格控制。

    Nov, 2023