Apr, 2023

通用神经辐射场的显式对应匹配

PDF
TL;DR该论文提出了一种新的 NeRF 方法，具有可推广性，能够利用极少的两个来源视图直接推广到新的看不见的场景并进行新的视图合成。该方法的关键在于显式建模的对应匹配信息，以在 NeRF 颜色和密度的预测之前提供几何先验，从而实现体渲染。该方法通过 Transformer 交叉关注模型跨视图的交互作用来建模，大大提高了特征匹配的质量，并实现了在不同评估设置中的最新成果。实验表明了该方法学习到的余弦特征相似性和体密度之间的强相关性，证明了该方法的有效性和优越性。
nerfgeneralizablenovel view synthesiscorrespondence matchingtransformer cross-attention
发现论文，激发创造
  • CorresNeRF：用于神经辐射场的图像对应先验

    使用图像对应先验来监督神经辐射场的训练，生成稠密高质量的对应关系，并将其用于规范化神经辐射场的训练，从而在新视角合成和表面重建任务中优于先前的方法。

    Dec, 2023

  • GeCoNeRF：基于几何一致性的少样本神经辐射场

    本文提出一种新的框架来规范化在几个样本（few-shot）设置中的神经辐射场（NeRF），通过几何感知一致性正则化。该方法利用了未观察视角的渲染深度图来将稀疏的输入图像变形到未观察视角并将其作为伪地面实现 NeRF 的学习，从而在特征层面而非像素级重建损失上鼓励这种几何感知的一致性，实现 NeRF 在语义和结构层面上的规范化，同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。同时，本文提出一种有效的方法来筛除错误变形的解，以及稳定训练优化的训练策略。我们展示了本文提出的模型与现有最先进的几个样本设置下的 NeRF 模型相比具有竞争优势。

    Jan, 2023

  • 完美匹配：探索 NeRF 特征进行视觉定位

    本研究提出使用神经辐射场（NeRF）作为视觉定位的场景表示，通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置，引入了 NeRFMatch 作为高级的 2D-3D 匹配函数，并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。

    Mar, 2024

  • 使用有条件的神经辐射场进行视觉定位的 NeRF-Loc

    本文提出了一种新颖的基于 3D 场景描述符和转换器与 2D 图像进行直接匹配的视觉重新定位方法，NeRF 作为 3D 场景表示，在统一特征匹配和场景坐标回归的同时，本模型在两个训练阶段学习可推广的知识和场景先验知识。此外，为了提高本模型在训练和测试间的鲁棒性，本文提出了一个外观适应层来明确地对齐 3D 模型和查询图像。实验证明，本方法在多个基准测试上实现了比其他基于学习的方法更高的定位精度。

    Apr, 2023

  • VMRF: 视图匹配神经辐射场

    VMRF is an innovative NeRF that can effectively train without requiring prior knowledge in camera poses or camera pose distributions through its view matching scheme and feature transport plan.

    Jul, 2022

  • GeoNeRF：利用几何先验的通用 NeRF

    该论文提出了一种基于神经辐射场的通用逼真新视角合成方法，该方法包括几何推理和渲染两个主要阶段，可用于各种合成和实际数据集。

    Nov, 2021

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • 通用补丁基础神经渲染

    该研究提出一种新的方法，利用极线几何法提取采样自场景的块，将其通过一系列变换器进行预处理后预测目标采样射线的颜色，从而在不需要深度特征和 NeRF-like 卷积体积渲染的情况下，实现对未见过的场景的新视图综合，其具有更好的泛化性能，并且即使使用比以前工作少得多的数据进行训练，也能胜过现有技术水平。

    Jul, 2022

  • NeRF 类比：基于示例的 NeRF 视觉属性转移

    通过将语义特征从大型预训练的二维图像模型应用于多视角一致的外观转移，我们将图像类比从二维图像广义地推广到三维几何结构，以实现从源神经辐射场（NeRF）到目标三维几何外观的转换，保留目标几何结构，同时拥有与源 NeRF 类似的外观。

    Feb, 2024

  • GM-NeRF: 从多角度图像中学习可推广的基于模型的神经辐射场

    提出了一种基于神经辐射场和几何引导注意力机制的方法来合成高保真度的自由视点图像，并通过实验证明其具有更好的合成效果和几何重建精度。

    Mar, 2023