Jul, 2022

单输入图像视角合成的视觉 Transformer 网络

PDF
TL;DR本研究提出利用全局和局部特征构建表达式三维模型的方法，通过训练 MLP 网络，实现从单个未定位图像中合成新视角，并在多个物体类别上进行泛化，获得了比现有方法更出色的性能和更丰富的细节渲染。
neural radiance fieldsnovel view synthesis3d representationglobal and local featuresvolume rendering
发现论文，激发创造
  • ViewFormer：使用 Transformer 从少量图像实现无 NeRF 神经渲染

    本研究提出了一种基于 2D 的神经网络方法，结合编码键和转换模型，用于实现新颖视角合成，在不需要显式 3D 理解的情况下，相比于 NeRF 方法更高效。

    Mar, 2022

  • MPS-NeRF：从多视角图像中渲染通用三维人体模型

    本文提出了一种简单而有效的方法，使用多视角图像作为条件输入，训练出适用于不同人的可泛化 NeRF，该方法的关键部分是将规范空间与输入和目标图像相连，并利用参数化的 3D 人体模型来导出变形，本方法在实现新视角合成和姿势动画任务方面表现出了很好的效果。

    Mar, 2022

  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023

  • MVSNeRF：多视角立体下的快速通用辐射场重建

    提出了 MVSNeRF，这是一种新颖的神经渲染方法，可以通过快速网络推理从仅三个附近输入视图重建辐射场，利用平面扫描代价体进行几何感知场景推理，并将其与基于物理的体积渲染相结合，能够横跨场景（甚至是室内场景）泛化，并仅使用三个输入图像生成逼真的视图合成结果，比类似工作在可推广的辐射场重建方面表现显著优越。

    Mar, 2021

  • 通用补丁基础神经渲染

    该研究提出一种新的方法，利用极线几何法提取采样自场景的块，将其通过一系列变换器进行预处理后预测目标采样射线的颜色，从而在不需要深度特征和 NeRF-like 卷积体积渲染的情况下，实现对未见过的场景的新视图综合，其具有更好的泛化性能，并且即使使用比以前工作少得多的数据进行训练，也能胜过现有技术水平。

    Jul, 2022

  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022

  • 神经辐射场中的 Vanilla MLP 对于少样本视图合成足够吗？

    通过多输入多层感知器 (mi-MLP) 让神经光辐射场 (NeRF) 模型在少样本视角合成时避免过拟合问题，并提高 PSNR 值从 $14.73$ 提升到 $24.23$，并在多个基准测试中取得了最先进的结果。

    Mar, 2024

  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • NeRDi: 基于语言引导扩散的单视角 NeRF 综合技术作为通用图像先验

    提出 NeRDi—— 一种基于 2D 扩散模型通用图像先验的单视角 NeRF 综合框架，借助自然语言模型引导扩散模型进行图像合成，结合估算的深度图的几何约束，优化重建的 NeRF 表示，进而实现高质量的全景图像生成。

    Dec, 2022

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022