Nov, 2023

纠缠视角 - 广义性神经辐射场的极线信息汇聚

PDF
TL;DREVE-NeRF is introduced as an Entangled View-Epipolar Information Aggregation method that improves the generalizability of the 3D representation by considering scene-invariant appearance continuity and geometry consistency priors, achieving state-of-the-art performance in 3D scene reconstruction.
generalizable nerf3d representationentangled view-epipolar information aggregationscene-invariant appearance continuitygeometry consistency priors
发现论文，激发创造
  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • Gen-NeRF: 通过算法硬件协同设计实现高效率和通用化的神经辐射场

    Gen-NeRF 是一个算法硬件协同设计框架，可以加速可广义的 NeRF (神经辐射场) 生成新视点，从而实现实时的虚拟和增强现实体验。

    Apr, 2023

  • GSNeRF: 增强的通用语义神经辐射场与 3D 场景理解

    使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。

    Mar, 2024

  • 重新 Nerfing: 通过新视角合成对神经辐射场施加几何约束

    通过 Re-Nerfing 方法，我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围，提高新视角的几何一致性，并通过新合成的图像实现结构和极线约束的优化，对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。

    Dec, 2023

  • 通用补丁基础神经渲染

    该研究提出一种新的方法，利用极线几何法提取采样自场景的块，将其通过一系列变换器进行预处理后预测目标采样射线的颜色，从而在不需要深度特征和 NeRF-like 卷积体积渲染的情况下，实现对未见过的场景的新视图综合，其具有更好的泛化性能，并且即使使用比以前工作少得多的数据进行训练，也能胜过现有技术水平。

    Jul, 2022

  • GeoNeRF：利用几何先验的通用 NeRF

    该论文提出了一种基于神经辐射场的通用逼真新视角合成方法，该方法包括几何推理和渲染两个主要阶段，可用于各种合成和实际数据集。

    Nov, 2021

  • 通用神经辐射场的显式对应匹配

    该论文提出了一种新的 NeRF 方法，具有可推广性，能够利用极少的两个来源视图直接推广到新的看不见的场景并进行新的视图合成。该方法的关键在于显式建模的对应匹配信息，以在 NeRF 颜色和密度的预测之前提供几何先验，从而实现体渲染。该方法通过 Transformer 交叉关注模型跨视图的交互作用来建模，大大提高了特征匹配的质量，并实现了在不同评估设置中的最新成果。实验表明了该方法学习到的余弦特征相似性和体密度之间的强相关性，证明了该方法的有效性和优越性。

    Apr, 2023

  • 增强 NeRF 类似于增强 LLMs：具有混合视图专家的通用 NeRF Transformer

    使用大规模语言模型中的 Mixture-of-Experts (MoE) 方法来增强一种称为 GNT 的 NeRF 模型，建立了一种能够合成未见场景新视角的跨场景可泛化的 NeRF 模型，称为 GNT with Mixture-of-View-Experts (GNT-MOVE)。实验表明，该模型在迁移到未见场景时展现出卓越的泛化能力，在零样本和少样本的设置中都取得了最新的结果。

    Aug, 2023

  • 面向几何感知的重建与融合优化渲染的可泛化神经辐射场

    Generalizable NeRF 通过建立基于方差的代价体来重建几何结构并通过编码解码来生成新的视图，引入自适应代价聚合、空间 - 视图聚合和一致性感知融合等方法来改进现有方法在复杂条件下的性能。

    Apr, 2024

  • 用学习增强的点表示学习鲁棒且具有普适性的辐射场与可见性特征

    提出了一种新型的泛化神经辐射场（NeRF）范式，通过基于点而非基于图像的渲染构建了可泛化的神经场，称之为可泛化神经点场（GPF）。该模型通过显式建模可见性并将其与神经特征相结合，提出了一种非均匀取样策略以提高渲染速度和重构质量，并利用特征增强的可学习内核在具有差异性几何结构的区域缓解形变。该研究表明，相比于其他方法和基准数据集，该模型在三个数据集上无论在泛化还是微调设置下，都能提供更好的几何形状、视角一致性和渲染质量，初步证明了该新范式在泛化 NeRF 中的潜力。

    Jan, 2024