Sep, 2023

NAS-NeRF: 用于神经辐射场的生成式神经结构搜索

PDF
TL;DR通过为每个场景基于复杂度和性能的权衡优化神经网络组件，我们提出了 NAS-NeRF：一种唯一定制化的生成式神经架构搜索策略，以在计算预算和最小合成质量的约束条件下动态优化 NeRF 架构。实验结果表明，NAS-NeRF 相比于基准 NeRF 可生成的架构规模减小多达 5.74 倍，FLOPs 减少 4.19 倍，并且在 GPU 上速度提升 1.93 倍，而不会降低结构相似性。同时，NAS-NeRF 还可以实现比基准 NeRF 小 23 倍的架构，FLOPs 减少 22 倍，并且只有 5.3% 的平均结构相似性下降。
neural radiance fieldscomputational complexityquality tuningneural architecture searchsynthesis quality
发现论文，激发创造
  • Gen-NeRF: 通过算法硬件协同设计实现高效率和通用化的神经辐射场

    Gen-NeRF 是一个算法硬件协同设计框架，可以加速可广义的 NeRF (神经辐射场) 生成新视点，从而实现实时的虚拟和增强现实体验。

    Apr, 2023

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • 自适应多 NeRF：利用自适应多尺度神经辐射场渲染中的高效并行性

    通过将场景自适应地细分为轴对齐的包围盒，并使用树层次结构方法将较小的 NeRF 分配给不同大小的子空间，该论文提出了一种有效的适应性多 NeRF 方法，以加速针对复杂场景的神经渲染过程，以实现对特定场景部分的精细神经表示。

    Oct, 2023

  • BioNeRF：生物合理的神经辐射场用于视图合成

    BioNeRF 是一种基于生物学的合理架构，通过辐射场对场景进行 3D 表示并合成新视图，利用类似记忆结构的认知启发机制将来自多个来源的输入融合，提高存储容量并提取更多内在和相关信息，同时模仿锥体细胞中观察到的有关上下文信息的行为，其中记忆作为上下文提供并与两个后续神经模型的输入相结合，其中一个负责生成体积密度，另一个负责渲染场景所使用的颜色。实验结果表明，BioNeRF 在两个数据集（真实世界图像和合成数据）中基于人类感知的质量度量上胜过最先进的结果。

    Feb, 2024

  • 具有阴影指导的 NeRF 合成

    本文提出了一种叫做 NeRF 综合的新任务，利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，我们提出了一种两阶段的方法来综合新场景，控制场景的照明效果采用阴影指导而不是分离场景，我们表明了我们的方法可以生成高质量的结果，对曲面上的新场景进行综合，增强了我们所提出的 NeRF 综合方法的实用性。

    Jun, 2023

  • Mega-NeRF：构建大规模 NeRF 以用于虚拟飞行

    利用神经辐射场（NeRFs）建立大规模的高楼或多个城市街区跨度的交互式 3D 环境，研究通过分析可见性统计信息，提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法，并对 NeRF 快速渲染程序提出了新方法，有效解决了训练速度和渲染速度等多项挑战。

    Dec, 2021

  • FastNeRF: 高保真神经渲染，200FPS

    文章提出了 FastNeRF 方法，通过图形学中的因式分解实现深度辐射图的高效缓存和查询，可在高端消费者 GPU 上以 200Hz 的速率呈现高保真度的照片般逼真的图像，比原始 NeRF 算法快 3000 倍，同时保持视觉质量和可扩展性。

    Mar, 2021

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • 超平面：用于快速 NeRF 自适应的超网络方法

    提出了一种基于超网络范例的少样本学习方法，通过从训练数据中收集信息并生成通用权重的更新，实现了从少量图像中一步生成高质量的 3D 物体表示的高效方法。通过与最先进的解决方案进行直接比较以及全面的剔除研究，证实了该方法的有效性。

    Feb, 2024