Nerfies: 可变形神经辐射场
该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF,该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示,并且可以生成复杂的渲染场景。
Dec, 2020
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020
本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色,通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景,并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。
Jun, 2021
本文提出了一种新的三维场景重建方法 HyperNeRF,通过将 NeRF 升维,将每个输入图像对应的五维辐射场表示为该 “超空间” 中的一片,从而解决了现有变形场模型在处理拓扑变化时的困难。实验表明,HyperNeRF 在平滑插值和新视角合成方面皆优于 Nerfies,平均误差率分别降低了 4.1%和 8.6%。
Jun, 2021
DecentNeRF 是第一次尝试的去中心化、众包的神经辐射场(NeRFs),与集中式方法相比,它在训练过程中减少了服务器计算成本,并通过将用户的 3D 视图分解为个人和全局 NeRFs 以及一种新颖的最优加权聚合,实现学习具有照片级真实感的场景表示。它在结构化合成和真实世界照片旅游数据集上验证了我们的方法学习 NeRFs 具有照片级真实感和最小的服务器计算成本,并进一步分析了 DecentNeRF 中全局 NeRFs 的安全聚合如何最小化服务器对个人内容的不良重建。
Mar, 2024
该研究通过提出 Enhance-NeRF 模型,增强神经放射场(NeRF)在虚拟现实和增强现实等领域的三维重建应用,改进了场景识别和学习能力,有望广泛应用于照明、材质和形状的室外场景重建,具备插拔式的易用性,并能够与其他 NeRF-based 模型轻松集成。
Jun, 2023
本论文提出了一种基于学习的方法,利用无组织的野外照片合成复杂场景的新视图,并介绍了一系列扩展 NeRF 的方法以解决自然图像中的一些问题,最终成功地构建了名称为 NeRF-W 的系统,能够从互联网上的无组织照片集合中重建场景并呈现接近于照片现实主义水平的合成视图。
Aug, 2020
本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景,该方法包括两个模块,采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度,并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明,本方法在仅用 20 分钟的训练时间下,达到了与 D-NeRF 相当的性能,比 D-NeRF 快 70 倍以上,显示了该方法的高效性。
Jun, 2022
基于 NeRF 的人体表演姿态依赖渲染的新方法,通过将辐射场围绕 SMPL 人体模型进行扭曲,实现了新的表面对齐表示,可以通过骨骼关节参数和视点来实现动画化,并通过引入新的重新映射过程来实现高质量渲染。
Nov, 2023