CVPRFeb, 2021

IBRNet: 学习多视角基于图像渲染

PDF
TL;DR通过绘制多种源视图来渲染高分辨率成像，并利用神经网路的视角插值，在新颖场景中综合新视角。
view interpolationneural scene representationimage-based renderingvolume renderingnovel view synthesis
发现论文，激发创造
  • DynIBaR: 神经动态图像渲染

    本篇论文提出一种基于体积图像渲染的新方法，通过汇集场景相邻视野的特征，以动态场景感知的方式合成新视点，从而在长视频中合成具有真实感的新视图，能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。

    Nov, 2022

  • 单输入图像视角合成的视觉 Transformer 网络

    本研究提出利用全局和局部特征构建表达式三维模型的方法，通过训练 MLP 网络，实现从单个未定位图像中合成新视角，并在多个物体类别上进行泛化，获得了比现有方法更出色的性能和更丰富的细节渲染。

    Jul, 2022

  • 从宽基线立体对学习生成新视角

    介绍了一种用于单个广角立体图像对的新视角合成的方法，包括 3D 场景重构和外观变化的先验模型，提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器，通过大规模实际数据集的训练，证明了模型学习到了强大的多视角几何先验，大大缩短了渲染时间，并在两个实际数据集上得到了显著的优越性能。

    Apr, 2023

  • MAIR: 多视角注意力逆渲染技术与三维空间变异照明估计

    提出了一种使用多视角图像将场景分解为几何形状、SVBRDF 和三维空间变化的灯光的场景级反渲染框架，该框架通过扩展 OpenRooms 数据集和设计有效的流程来处理多视角图像并分割灯光实现了比基于单视图的方法更好的性能，并可在任意 3D 位置进行逼真的物体插入。

    Mar, 2023

  • 大规模真实室内场景多视角反渲染

    本文提出了一种高效的多视角逆向呈现方法，可以重建大规模室内场景的全局间接光照和物理合理的 SVBRDF，通过所提出的 Texture-Based Lighting (TBL) 来实现整个大场景的直接光照和无限反弹间接光照的紧凑表示，并基于 TBL 提出了一种预计算辐照度的混合光照表示，通过基于语义分割和房间分割的先验提出了三阶段材料优化策略来消除材料之间的歧义，实验结果表明所提出的方法在定量和定性上均优于现有的最佳方法，并启用了物理合理的增强现实应用，如材质编辑，可编辑的新视角合成和重新照明。

    Nov, 2022

  • 快速明确的神经视图合成

    本文研究了从稀疏源观测中合成新视角的问题，提出了一种简单而有效的方法，通过将观测编码到体积表示中进行摊销渲染，并通过自我监督信号实现了对 3D 几何的有效学习。

    Jul, 2021

  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • FlowIBR：利用预训练来高效构建动态场景的神经网络图像渲染

    我们引入了一种新颖的方法，用于动态场景的单目新视图合成。通过将场景动态性与预训练的神经图像渲染方法相结合，我们的方法绕过了训练数据和场景动态性多样性的限制，通过优化场景流场来实现将动态场景呈现为静态场景，从而降低了优化时间并实现了与现有方法相当的渲染质量。

    Sep, 2023

  • 使用神经辐射场表示场景进行视角合成

    本文介绍了一种使用深度神经网络进行视图综合和图像合成的方法，通过连续的体积场函数来优化复杂场景的视图，并在神经辐射场方面取得了最新的研究成果。

    Mar, 2020

  • ViewFormer：使用 Transformer 从少量图像实现无 NeRF 神经渲染

    本研究提出了一种基于 2D 的神经网络方法，结合编码键和转换模型，用于实现新颖视角合成，在不需要显式 3D 理解的情况下，相比于 NeRF 方法更高效。

    Mar, 2022