ICCVAug, 2023

增强 NeRF 类似于增强 LLMs：具有混合视图专家的通用 NeRF Transformer

PDF
TL;DR使用大规模语言模型中的 Mixture-of-Experts (MoE) 方法来增强一种称为 GNT 的 NeRF 模型，建立了一种能够合成未见场景新视角的跨场景可泛化的 NeRF 模型，称为 GNT with Mixture-of-View-Experts (GNT-MOVE)。实验表明，该模型在迁移到未见场景时展现出卓越的泛化能力，在零样本和少样本的设置中都取得了最新的结果。
nerfcross-scene generalizablemixture-of-expertsfeed-forward inference pipelineview synthesis
发现论文，激发创造
  • 注意力机制是 NeRF 所需要的全部吗？

    本文介绍了一种基于 transformers 的场景重构和渲染新视角的架构，通过视图变换器和光线变换器实现对神经辐射场进行编码解码；实验表明该架构可以在多个场景中取得最先进的性能。

    Jul, 2022

  • GM-NeRF: 从多角度图像中学习可推广的基于模型的神经辐射场

    提出了一种基于神经辐射场和几何引导注意力机制的方法来合成高保真度的自由视点图像，并通过实验证明其具有更好的合成效果和几何重建精度。

    Mar, 2023

  • ViewFormer：使用 Transformer 从少量图像实现无 NeRF 神经渲染

    本研究提出了一种基于 2D 的神经网络方法，结合编码键和转换模型，用于实现新颖视角合成，在不需要显式 3D 理解的情况下，相比于 NeRF 方法更高效。

    Mar, 2022

  • G-NeRF: 单视图图像的几何增强新视角合成

    通过使用 Geometry-enhanced NeRF (G-NeRF) 方法，在 novel view synthesis 中增强几何先验，通过几何引导的多视角合成方法和深度感知型训练，解决了多视角数据不足和单视角图像几何先验提取问题，并通过定剪方法和深度感知鉴别器进一步提高了几何品质。实验证明了我们方法在定量和定性结果上的有效性。

    Apr, 2024

  • Gen-NeRF: 通过算法硬件协同设计实现高效率和通用化的神经辐射场

    Gen-NeRF 是一个算法硬件协同设计框架，可以加速可广义的 NeRF (神经辐射场) 生成新视点，从而实现实时的虚拟和增强现实体验。

    Apr, 2023

  • GSNeRF: 增强的通用语义神经辐射场与 3D 场景理解

    使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。

    Mar, 2024

  • GeoNeRF：利用几何先验的通用 NeRF

    该论文提出了一种基于神经辐射场的通用逼真新视角合成方法，该方法包括几何推理和渲染两个主要阶段，可用于各种合成和实际数据集。

    Nov, 2021

  • 纠缠视角 - 广义性神经辐射场的极线信息汇聚

    EVE-NeRF is introduced as an Entangled View-Epipolar Information Aggregation method that improves the generalizability of the 3D representation by considering scene-invariant appearance continuity and geometry consistency priors, achieving state-of-the-art performance in 3D scene reconstruction.

    Nov, 2023

  • MPS-NeRF：从多视角图像中渲染通用三维人体模型

    本文提出了一种简单而有效的方法，使用多视角图像作为条件输入，训练出适用于不同人的可泛化 NeRF，该方法的关键部分是将规范空间与输入和目标图像相连，并利用参数化的 3D 人体模型来导出变形，本方法在实现新视角合成和姿势动画任务方面表现出了很好的效果。

    Mar, 2022

  • 重新 Nerfing: 通过新视角合成对神经辐射场施加几何约束

    通过 Re-Nerfing 方法，我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围，提高新视角的几何一致性，并通过新合成的图像实现结构和极线约束的优化，对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。

    Dec, 2023