Dec, 2023

INFAMOUS-NeRF: 利用语义对齐的超网络和神经辐射场改进面部建模

PDF
TL;DR我们提出了 INFAMOUS-NeRF，一种隐式可塑性人脸模型，通过引入超网络到 NeRF 中，改善在训练多个主题时的表示能力。同时，INFAMOUS-NeRF 通过学习语义对齐的潜在空间来解决了经典超网络在表示能力和可编辑性之间的权衡问题，而无需大规模预训练模型。INFAMOUS-NeRF 还引入了一种改进 NeRF 渲染的新约束，该约束可以利用光度表面渲染和多视角监督来指导表面颜色预测并改善表面附近的渲染。最后，我们引入了一种新的、通过减少采样冗余来实现更有效 NeRF 训练的损失引导自适应采样方法。我们定量和定性地展示了我们的方法在受控和野外环境中实现了比先前人脸建模方法更高的表示能力。代码和模型将在发表后发布。
infamous-nerfimplicit morphable face modelhypernetworkslatent spacesnerf rendering
发现论文，激发创造
  • MoFaNeRF：可塑性脸部神经辐射场

    提出了 MoFaNeRF 模型，它将自由视角图像映射到编码的面部形状、表情和外观的向量空间中，实现了照片级面部合成，有助于面部拟合、随机生成、面部编辑和新视角合成等多个应用。

    Dec, 2021

  • 超平面：用于快速 NeRF 自适应的超网络方法

    提出了一种基于超网络范例的少样本学习方法，通过从训练数据中收集信息并生成通用权重的更新，实现了从少量图像中一步生成高质量的 3D 物体表示的高效方法。通过与最先进的解决方案进行直接比较以及全面的剔除研究，证实了该方法的有效性。

    Feb, 2024

  • FDNeRF: 基于扩散模型的面部语义驱动重建、提示编辑和重照

    本文介绍了一种新的生成方法 FDNeRF，可以从单个图像重建高质量的 3D 面孔，并具有语义编辑和改变灯光等功能，相比现有的 2D 编辑方法，FDNeRF 取得了更加逼真的结果和前所未有的灵活性。

    Jun, 2023

  • RigNeRF: 全控制神经网络 3D 肖像

    本研究提出了 RigNeRF 这一系统，不仅能够让用户通过单个肖像视频控制头部姿态和面部表情，还能够实现场景物体的编辑和自由视角合成。

    Jun, 2022

  • 基于组合神经辐射场的语义三维感知人像合成与操作

    通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，CNeRF 方法可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。

    Feb, 2023

  • MA-NeRF：基于动作协助的神经辐射场技术，用于从稀疏图像合成人脸

    本文提出了一种新的框架，即结构位移特性和语义感知学习模块，来改进 NeRF 的不足之处并成功处理未见过的表情，实现了从稀疏图像中合成逼真的三维人脸形象，并在定量和定性上比当前艺术水平领先。

    Jun, 2023

  • A-NeRF：用于学习人体形态、外观和姿态的关节神经辐射场

    本文提出了一种基于神经径向基方法的生成神经体模型，通过学习未标记的单目视频，在不需要地面真实标签的情况下，共同完善的姿势和体积身体形状和外观，有效改善了多样化数据集上的准确性，是对使用反向运动学的引入的一个重要贡献。

    Feb, 2021

  • 使用超网络学习改进的 NeRF 先验知识的 HyP-NeRF

    本文提出了一种使用超网络来学习可推广类别级神经辐射场先验的隐式编码方法，称为 HyP-NeRF。 HyP-NeRF 不仅可以显着提高质量，而且还可以在多个下游任务中使用。

    Jun, 2023

  • 基于语义掩模和扩散模型的 NeRF 编辑

    本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的 3D 内容进行编辑，此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对 NeRF 中的 3D 目标具有改进的效果。

    Jun, 2023

  • HyperNeRF：用于拓扑变化的高维神经辐射场表示

    本文提出了一种新的三维场景重建方法 HyperNeRF，通过将 NeRF 升维，将每个输入图像对应的五维辐射场表示为该 “超空间” 中的一片，从而解决了现有变形场模型在处理拓扑变化时的困难。实验表明，HyperNeRF 在平滑插值和新视角合成方面皆优于 Nerfies，平均误差率分别降低了 4.1％和 8.6％。

    Jun, 2021