Jul, 2022

通用补丁基础神经渲染

PDF
TL;DR该研究提出一种新的方法，利用极线几何法提取采样自场景的块，将其通过一系列变换器进行预处理后预测目标采样射线的颜色，从而在不需要深度特征和 NeRF-like 卷积体积渲染的情况下，实现对未见过的场景的新视图综合，其具有更好的泛化性能，并且即使使用比以前工作少得多的数据进行训练，也能胜过现有技术水平。
neural renderingnovel-view synthesisepipolar geometrylight field representationgeneralization
发现论文，激发创造
  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023

  • MonoPatchNeRF: 利用基于路径的单目引导改进神经辐射场

    我们提出了一种基于补丁的方法，通过有效利用单眼表面法线和相对深度预测，在几何学和视图合成方面提供准确的 3D 模型，部分弥补了 NeRF 和传统 MVS 方法之间的几何性能差距，实验结果表明，在 ETH3D MVS 基准测试中，我们的方法在平均 F1@2cm 上提供了 RegNeRF 的 4 倍性能和 FreeNeRF 的 8 倍性能，为改善基于 NeRF 模型的几何精度以及促使 NeRF 模型最终超越传统 MVS 方法的优化提供了有价值的研究方向。

    Apr, 2024

  • 快速神经辐射场重建的体积特征渲染

    本研究提出了将本应在神经网络评估后再进行渲染的颜色，改为直接渲染出射线查询的特征向量，从而大幅降低了神经网络评估的复杂度和计算开销，并取得了较好的渲染质量。

    May, 2023

  • 使用光线空间嵌入网络学习神经光场

    本文提出了一种紧凑且直接预测射线上积分辐射度的新型神经光场表示方法，支持小基线光场数据集每像素一次网络评估的渲染，并可应用于大基线场景。

    Dec, 2021

  • 具有阴影指导的 NeRF 合成

    本文提出了一种叫做 NeRF 综合的新任务，利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，我们提出了一种两阶段的方法来综合新场景，控制场景的照明效果采用阴影指导而不是分离场景，我们表明了我们的方法可以生成高质量的结果，对曲面上的新场景进行综合，增强了我们所提出的 NeRF 综合方法的实用性。

    Jun, 2023

  • ViewFormer：使用 Transformer 从少量图像实现无 NeRF 神经渲染

    本研究提出了一种基于 2D 的神经网络方法，结合编码键和转换模型，用于实现新颖视角合成，在不需要显式 3D 理解的情况下，相比于 NeRF 方法更高效。

    Mar, 2022

  • 利用 Torch 单元的神经辐射场

    提出了一种名为 Torch-NeRF 的新方法，通过扩大光线感知领域和构建样本点交互来提高神经辐射场在复杂场景中的重建性能。

    Apr, 2024

  • pixelNeRF：从一张或少量图像中生成神经辐射场

    我们提出了一种名为 pixelNeRF 的学习框架，可以在仅有一张或几张输入图像的条件下预测连续的神经场景表示。与现有方法相比，我们的体系结构不需要每个场景都进行优化，从而使得在仅有一张图像的情况下就可以执行视角的合成和单幅图像的三维重建。经过大量的实验证明，我们的模型在形状、类别和实景等方面都优于现有的最先进技术。

    Dec, 2020

  • 单输入图像视角合成的视觉 Transformer 网络

    本研究提出利用全局和局部特征构建表达式三维模型的方法，通过训练 MLP 网络，实现从单个未定位图像中合成新视角，并在多个物体类别上进行泛化，获得了比现有方法更出色的性能和更丰富的细节渲染。

    Jul, 2022

  • 来自非约束图像集的新视角合成的 Cross-Ray 神经辐射场

    本文提出了一种名为 Cross-Ray NeRF 的方法，通过利用交互信息合成视野，在处理过场景图像时能有效地减少遮挡和幽灵物体等问题。

    Jul, 2023