Dec, 2021

CoNeRF: 可控神经辐射场

PDF
TL;DR本文介绍了一种基于神经 3D 表示方法的场景可控制方法，该方法采用少量遮罩注释，将属性视为潜在变量，通过神经网络推断属性后控制场景属性，实现了场景的新视角和新属性渲染。
neural 3d representationsuser controlfew-shot learning frameworklatent variablesattribute re-rendering
发现论文，激发创造
  • 基于几何引导文本图像扩散模型的神经辐射场可控三维化身生成

    提出了一种可控的文本到三维头像生成方法 Text2Control3D，利用 ControlNet 生成视角感知图像，并通过交叉注意力注入可控的面部表情和外貌，通过高斯潜变量的低通滤波解决了视角不可知纹理问题，以及通过学习图片形变表构建三维头像。

    Sep, 2023

  • 动态人脸渲染的可控辐射场

    在这篇论文中，我们提出了一种可控辐射场，该场可在保证三维感知性的同时，显式地控制非刚性运动产生的面部动态的生成模型合成。

    Oct, 2022

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021

  • 可控的神经网络 3D 肖像的动态外貌

    CoDyNeRF 是一个在现实世界的采集条件下创建完全可控的 3D 肖像的系统，通过在规范空间中基于预测的表面法线和面部表情与头部姿态变形的条件下近似光照相关效果的动态外观模型来学习，它使用 3DMM 法线作为人头粗略法线的先验之一来引导表面法线预测，只需要使用手机拍摄的短视频进行训练，我们展示了该方法在具有明确头部姿态和表情控制以及逼真光照效果的肖像场景的自由视图合成中的有效性。

    Sep, 2023

  • 从纹理空间中为 NeRFs 进行动画：一种基于姿态的人类表演渲染框架

    基于 NeRF 的人体表演姿态依赖渲染的新方法，通过将辐射场围绕 SMPL 人体模型进行扭曲，实现了新的表面对齐表示，可以通过骨骼关节参数和视点来实现动画化，并通过引入新的重新映射过程来实现高质量渲染。

    Nov, 2023

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • 编辑条件辐射场

    本文介绍了一种可以对特定类别的条件辐射场进行用户编辑的方法，该方法假设观察多个特定类别的实例，学习部分语义，允许将粗略的二维用户涂鸦传播到整个三维区域中，该方法通过提出新的模块化网络组件和混合网络更新策略，结合优化问题和网络特定的目标，解决用户交互中的可视化编辑任务。

    May, 2021

  • NeRF-Editing: 神经辐射场的几何编辑

    本研究提出了一种基于 Neural Radiance Field 的方法，利用显式网格表示与场景的隐式神经表示建立对应关系，使用户可以利用网格形变方法进行可控的形状变形，并合成编辑后的场景的新视角图像。

    May, 2022

  • H-NeRF: 人体运动的神经辐射场渲染与时间重建

    本文提出了神经辐射场用于人物运动的渲染和时空（4D）重建，该方法将神经场表示、新视角合成和隐式统计几何人类表示相结合，并应用于人类姿势识别和服装模拟。

    Oct, 2021

  • RigNeRF: 全控制神经网络 3D 肖像

    本研究提出了 RigNeRF 这一系统，不仅能够让用户通过单个肖像视频控制头部姿态和面部表情，还能够实现场景物体的编辑和自由视角合成。

    Jun, 2022