城市在网络上:实时神经渲染大规模场景
该论文介绍了一个名为 UE4-NeRF 的神经渲染系统,专门用于实时渲染大规模场景,并通过将场景分区并进行顶点优化、与 UE4 的光栅化流水线相结合等方法,实现了在 4K 分辨率下以每秒 43 帧的帧率进行实时渲染,并获得了与最先进方法相媲美的渲染质量。
Oct, 2023
利用神经辐射场(NeRFs)建立大规模的高楼或多个城市街区跨度的交互式 3D 环境,研究通过分析可见性统计信息,提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法,并对 NeRF 快速渲染程序提出了新方法,有效解决了训练速度和渲染速度等多项挑战。
Dec, 2021
Block-NeRF 是神经辐射场的变种,可以有效表示大规模环境,将场景分解成 NeRF 可以将渲染时间与场景大小分离,使渲染可以扩展到任意大的环境,并允许环境进行每个块更新。通过引入外观嵌入,学习的姿态细化和可控的曝光,以及介绍邻接 NeRF 之间对齐外观的程序,我们采用数种架构变化使 NeRF 对不同环境条件下多个月采集的数据具有鲁棒性。通过 280 万张图像构建 Block-NeRF 的网格,创建迄今为止最大的神经场景表示,能够渲染旧金山整个社区。
Feb, 2022
我们提出了一种逼真的实时小说视角综合(NVS)大场景的新方法,通过将中等质量的脚手架网格作为输入,学习神经纹理场和着色器以增强逼真感,同时使用标准图形管道进行实时渲染,我们的方法在大型自动驾驶和无人机场景中提供至少 30 倍更快的渲染速度与可比或更好的逼真度,我们的工作是首次实现大型真实世界场景的实时渲染。
Nov, 2023
我们构建了一个大规模、全面且高质量的城市规模神经渲染研究的合成数据集 MatrixCity,包含了来自两个城市地图的 67,000 张航拍图像和 452,000 张街道图像,通过 Unreal Engine 5 City Sample 项目收集,可用于城市规模神经渲染和其他任务的研究。
Sep, 2023
BungeeNeRF is introduced to address the issues of level-of-detail rendering in multi-scale Neural Radiance Fields in real-world 3D environments with drastically varying views and yields superior modeling results on various data sources.
Dec, 2021
我们提出了一种适用于动态城市环境的新颖分解辐射场方法,通过多级神经场景图表示来估计大规模动态区域的辐射场,并采用快速复合光线采样和渲染技术进行有效的训练和渲染,通过新的视图合成基准测试,我们证明了该方法在更多方面的性能优于先前的方法。
Mar, 2024
针对大规模场景重构的问题,我们引入了 BirdNeRF,这是 Neural Radiance Fields(NeRF)的一种适应型设计,专门用于利用航拍图像进行场景重构。与以前的研究集中在小规模和以物体为中心的 NeRF 重建不同,我们的方法解决了多个挑战,包括:(1) 解决了大型模型训练和渲染速度慢的问题;(2) 满足了对建模大量图像的计算需求,需要高性能 GPU 等大量资源;(3) 克服了由于模型容量有限而导致的大规模重建任务中常见的显著伪影和低视觉保真度问题。具体而言,我们提出了一种基于鸟瞰姿态的空间分解算法,将大型航拍图像集分解为多个具有适当重叠的小集合,使我们能够训练子场景的独立 NeRFs。该分解方法不仅将渲染时间与场景大小解耦,还使得渲染能够无缝地扩展到任意大的环境中。此外,它允许对环境进行块级别的更新,提高了重建过程的灵活性和适应性。此外,我们提出了一种投影引导的新视角重新渲染策略,有助于有效利用独立训练的子场景生成优秀的渲染结果。我们在现有数据集以及我们自己的无人机拍摄素材上对我们的方法进行了评估,在单个 GPU 上提高了 10 倍于经典的摄影测量软件和 50 倍于最先进的大规模 NeRF 解决方案的重建速度,并具有类似的渲染质量。
Feb, 2024
文章提出了 FastNeRF 方法,通过图形学中的因式分解实现深度辐射图的高效缓存和查询,可在高端消费者 GPU 上以 200Hz 的速率呈现高保真度的照片般逼真的图像,比原始 NeRF 算法快 3000 倍,同时保持视觉质量和可扩展性。
Mar, 2021
我们提出了 Drone-NeRF 框架,通过使用神经辐射场(NeRF)来增强适用于无人机倾斜摄影的无界大规模场景的高效重建,将场景根据摄像机位置和深度可见性划分为均匀的子块,在 NeRF 的并行训练中训练子场景,然后合并为完整场景,通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型,集成选择的样本提高准确性,哈希编码融合 MLP 加速密度表示,生成 RGB 和深度输出,该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战,展示了有前景的能力。
Aug, 2023