文章提出了 FastNeRF 方法,通过图形学中的因式分解实现深度辐射图的高效缓存和查询,可在高端消费者 GPU 上以 200Hz 的速率呈现高保真度的照片般逼真的图像,比原始 NeRF 算法快 3000 倍,同时保持视觉质量和可扩展性。
Mar, 2021
我们引入了 HumanRF,这是一种 4D 动态神经场景表示,可以捕获多视角视频输入中运动的全身外观,并允许从新的未见视角进行播放。通过分解时空为时间矩阵 - 向量分解,我们可以以高压缩比捕获高分辨率细节,并获得长序列的时间上连贯的演员重建。新的多视角数据集 ActorsHQ 提供高保真度的 16 个序列的 160 个相机的 12MP 镜头素材。我们的 HumanRF 有效利用了这些数据,在新颖视角合成方面取得了重要进展,实现接近于制作水平的品质。
May, 2023
VoxNeRF 是一种利用体积表示增强室内视图合成质量和效率的新方法,通过构建结构化场景几何并将其转换为基于体素的表示,以及采用独特的基于体素引导的高效采样技术,成功地提高了视图合成的效果。VoxNeRF 在速度上甚至超越了 Instant-NGP,推动了该技术向实时化发展。
Nov, 2023
利用神经辐射场(Neural Radiance Fields)的连续体密度和 RGB 值的神经网络,以及基于射线追踪的方式生成真实照片,我们提出了一种利用机载 RGB 摄像头的算法,使机器人在 NeRF 表示的 3D 场景中导航,并通过一种优化算法避免与高密度区域的碰撞,并在线重新规划路径。
Oct, 2021
利用神经辐射场(NeRFs)建立大规模的高楼或多个城市街区跨度的交互式 3D 环境,研究通过分析可见性统计信息,提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法,并对 NeRF 快速渲染程序提出了新方法,有效解决了训练速度和渲染速度等多项挑战。
Dec, 2021
本研究提出了将本应在神经网络评估后再进行渲染的颜色,改为直接渲染出射线查询的特征向量,从而大幅降低了神经网络评估的复杂度和计算开销,并取得了较好的渲染质量。
使用 Neural Radiance Field 方法和物理仿真器在野外环境下通过视觉感知实现机器人的球推导航技能。
Oct, 2022
本文提出了一种名为 NeuralHumanFVV 的实时神经人体表演捕捉和渲染系统,采用分层采样策略以及新颖的神经混合方案,能够在新视角下生成高质量的几何和逼真的贴图结果,实现了高质量的四维重建和逼真的自由视点重建。
该研究论文提出了一种基于截断有符号距离函数的 NeRF 框架的 3D 重建方法,结合 RGB-D 传感器和相机细化技术,得到高质量的空间重建结果。
Apr, 2021
本文提出了一个新的框架,用于从野外视频中重建人体和场景,并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型(human 和 scene),并依赖现有方法估计人体和场景的大致几何形状,可以从观察空间创建到无关姿态的规范空间的偏移场,进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节,包括服装褶皱和配件,并提供在新视角和新姿势下人体的高质量渲染和背景。
Mar, 2022