Apr, 2022

统一的隐式神经风格化

PDF
TL;DR本文提出了一种统一的内隐神经风格化框架 (INS)，其在多个任务设置中进行了广泛实验，包括新视图合成，内隐表面风格化和使用 MLPs 拟合图像，并通过分离样式映像和输入场景的内容隐含模块和样式隐含模块实现了从不同样式之间轻松地插值和生成具有新混合样式的图像，同时还提出了一种自我蒸馏几何一致性损失来规范 3D 场景中的几何，以维护样式的连续性。
implicit neural stylizationneural radiance fieldcoordinate-based representationself-distillation geometry consistency lossstyle implicit module
发现论文，激发创造
  • 通过隐式表示和超网络实现 3D 场景的风格化

    本文提出了一种基于 Neural Radiance Fields 的 3D 场景风格化方法，包括了使用超网络将样式信息转移入场景表示、使用隐式表示模型将场景分离成几何和外观分支，并采用两阶段训练和修补子采样方法优化模型以在任意视角生成具有所需风格的场景。

    May, 2021

  • StylizedNeRF: 通过 2D-3D 相互学习将一致的 3D 场景风格化为 Stylized NeRF

    本文提出了一种新的双向学习框架用于 3D 场景风格化，结合 2D 图像风格化网络和 NeRF，并引入了一种一致性损失函数来迁移 NeRF 的一致性先验知识到 2D 风格化网络中。实验结果表明，这种方法在视觉质量和长程一致性方面优于现有方法。

    May, 2022

  • 通过专家混合训练构建神经隐式字典

    该研究论文提出了一种能够通过基于坐标的子网络来构建神经隐式词典 (NID) 并代表内在神经表征的框架，通过优化结果能够更快地重建 2D/3D 图像并解决遮挡问题。

    Jul, 2022

  • 本地样式化的神经光辐射场

    我们提出了一种基于局部风格转移的 NeRF 风格化框架，利用哈希网格编码来学习外观和几何组件的嵌入，并通过优化外观分支并保持几何分支固定来实现风格化，使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系，实验证明我们的方法在新视角合成方面得到了合理的风格化结果，并通过操纵和自定义区域对应关系具有灵活的可控性。

    Sep, 2023

  • 用分层神经表示风格化稀疏视角的 3D 场景

    通过优化基于编码的场景表示与目标风格之间的关联，本文提出了一种针对稀疏视图场景的粗 - 精稀疏场景风格化框架，并采用内容强度退火的优化策略，实现了对稀疏视图场景的高质量风格化和更好的内容保留，通过大量实验验证了方法在风格化质量和效率方面的优越性。

    Apr, 2024

  • SNeRF：用于 3D 场景的风格化神经隐式表示

    本研究提出了一种基于神经辐射场的三维场景风格化方法，采用新的训练方法，交替进行 3D 场景和风格化优化步骤，从而应用更加表现力的图像风格转移方法，生成高质量的具有交叉视角一致性的新视角图片。

    Jul, 2022

  • 2D GANs 遇见无监督单视角 3D 重建

    提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

    Jul, 2022

  • 相变、距离函数和隐式神经表示

    该论文提出了一种新的损失函数用于训练无障碍神经表达模型，该方法受到流体相变理论的启发，并可以生成稠密函数以逼近真实的占用函数和距离函数，并可用于表面重建。

    Jun, 2021

  • 将显式和隐式表面表示耦合用于生成式 3D 模型

    本论文提出了一种新的神经体系结构来表示 3D 表面，通过引入一些创新的一致性损失来保证两个形状表示方式的协同处理，这种混合架构能够比单一表示网络产生更优的结果。

    Jul, 2020

  • 基于阴影引导的生成式隐式模型用于精确形状的 3D 感知图像合成

    本研究提出了一种基于阴影引导的生成式隐式模型，该模型利用多角度光照约束对 3D 物体进行建模，使得在不同光照条件下产生逼真的渲染效果，从而改善先前方法在表达精确 3D 形状方面的局限性，并成功应用于图像重照和 3D 形状重建任务。

    Oct, 2021