Nov, 2023

InstructPix2NeRF: 从单张图像指导的 3D 人像编辑

PDF
TL;DR通过建立一种名为 InstructPix2NeRF 的端到端扩散型框架，实现对单个开放世界图像的人类指导的三维感知人像编辑，实现了多语义编辑，保存了人像身份信息，并通过身份一致性模块增强了多视角三维身份的一致性，实验证明了该方法在定量和定性上的优越性。
neural radiance field3d-aware portrait editingopen-world portraitsinstructpix2nerfend-to-end diffusion-based framework
发现论文，激发创造
  • RigNeRF: 全控制神经网络 3D 肖像

    本研究提出了 RigNeRF 这一系统，不仅能够让用户通过单个肖像视频控制头部姿态和面部表情，还能够实现场景物体的编辑和自由视角合成。

    Jun, 2022

  • FDNeRF: 基于扩散模型的面部语义驱动重建、提示编辑和重照

    本文介绍了一种新的生成方法 FDNeRF，可以从单个图像重建高质量的 3D 面孔，并具有语义编辑和改变灯光等功能，相比现有的 2D 编辑方法，FDNeRF 取得了更加逼真的结果和前所未有的灵活性。

    Jun, 2023

  • 可控的神经网络 3D 肖像的动态外貌

    CoDyNeRF 是一个在现实世界的采集条件下创建完全可控的 3D 肖像的系统，通过在规范空间中基于预测的表面法线和面部表情与头部姿态变形的条件下近似光照相关效果的动态外观模型来学习，它使用 3DMM 法线作为人头粗略法线的先验之一来引导表面法线预测，只需要使用手机拍摄的短视频进行训练，我们展示了该方法在具有明确头部姿态和表情控制以及逼真光照效果的肖像场景的自由视图合成中的有效性。

    Sep, 2023

  • 基于语义掩模和扩散模型的 NeRF 编辑

    本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的 3D 内容进行编辑，此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对 NeRF 中的 3D 目标具有改进的效果。

    Jun, 2023

  • 从单张图像中生成人像神经辐射场

    本文提出了一种从单张头像照片中估计神经辐射场（NeRF）的方法，该方法使用亮度舞台肖像数据集预训练多层感知机（MLP）的权重，通过 3D 面部可塑模型逼近标准坐标空间以提高对未知面孔的泛化性能，并对其进行了定量评估，表明其对真实肖像图像的泛化效果优越。

    Dec, 2020

  • FENeRF: 神经辐射场中的人脸编辑

    使用 FENeRF 三维图像生成器，为了在保持视觉一致性的同时生成本地可编辑的肖像图像，我们提出了一种方法。

    Nov, 2021

  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • 基于组合神经辐射场的语义三维感知人像合成与操作

    通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，CNeRF 方法可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。

    Feb, 2023

  • InstructPix2Pix: 学习图像编辑指令

    我们提出了一种图像编辑方法，可以根据用户的书面指令编辑图像，同时我们结合了两个预训练模型的知识生成了大量训练数据，使用训练好的模型可以快速地编辑图像，并且可以适用于不同的输入图像和书面指令。

    Nov, 2022

  • 基于形状引导扩散的单图像三维人体数字化

    通过将高容量的二维扩散模型与形状引导扩散相结合并利用逆渲染技术，从单一图像中逐步合成多个视角的完全纹理化高分辨率三维网格，实现了广泛的服装人物 360 度合成的照片级别结果。

    Nov, 2023