RTMV:基于光线追踪的多视图合成数据集,用于新视角合成
本文介绍了一种新的神经场景表示方法 NSVF,它定义了一组体素界限的隐式场,通过稀疏体素八叉树组织,从一组姿态的 RGB 图像中逐步学习底层体素结构,并通过跳过不包含任何相关场景内容的体素来加速渲染新视角,可轻松应用于场景编辑和场景组合。
Jul, 2020
本文提出了一种深度学习方法,用于复杂场景的新视角合成,通过将 3D 场景表示为光场,并采用两平面参数化的光场,用 4D 参数特征化光线,构建 4D 函数实现映射,最后采用全连接网络优化该函数并合成新视角,同时附加了 per-ray depth 预测,提高了光场渲染质量,实验表明本方法优于现有技术。
May, 2021
提出了 MVSNeRF,这是一种新颖的神经渲染方法,可以通过快速网络推理从仅三个附近输入视图重建辐射场,利用平面扫描代价体进行几何感知场景推理,并将其与基于物理的体积渲染相结合,能够横跨场景(甚至是室内场景)泛化,并仅使用三个输入图像生成逼真的视图合成结果,比类似工作在可推广的辐射场重建方面表现显著优越。
Mar, 2021
本文提出了一种新型网络,利用少量稀疏图像输入,能够恢复三维场景几何信息和高分辨率彩色图像,并通过粗略到精细的球形追踪技术可以大幅提高速度,方法在多个数据集中都取得了可比较的精度。
Aug, 2021
本文研究了从稀疏源观测中合成新视角的问题,提出了一种简单而有效的方法,通过将观测编码到体积表示中进行摊销渲染,并通过自我监督信号实现了对 3D 几何的有效学习。
Jul, 2021
本文探讨了一种基于神经光场表示的少样本新视角合成策略,其使用了隐式神经网络将光线映射到目标像素的颜色,且通过由由粗略体积渲染产生的本地光线特征来确定网络的条件。该方法使用 3D ConvNet 构建的输入图像的 3D 特征体积,实现了比现有的神经辐射场方法更加快速且在合成和真实的 MVS 数据上取得了竞争性的性能。
Jul, 2022
本文提出了一种名为 Stereo Radiance Fields (SRF) 的新的神经视图合成方法,它从输入的立体图像编码中预测每个 3D 点的颜色和密度,且只需要较少的稀疏视图作为输入,可广泛适用于不同场景。实验表明,SRF 方法学习了结构而非过拟合,且 10-15 分钟的微调后比现有的场景特定模型具有更好的视觉效果。
Apr, 2021
本文提出了一种分析 - 合成方法 Relit-NeuLF,通过使用两平面光场表示对 4D 坐标系统的每条光线进行参数化,以实现对复杂场景的同时重照和新视角合成;通过自监督学习方法,该方法能够恢复三维场景的空间变化的双向反射分布函数(SVBRDF);通过将每条光线映射到其 SVBRDF 组成部分(漫反射、法线和粗糙度)以及灯光方向的条件,实现光线颜色的合成;综合实验证明,该方法在合成数据和真实世界人脸数据上都具有高效和有效的性能,并且优于最先进的结果。
Oct, 2023
本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景,该方法包括两个模块,采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度,并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明,本方法在仅用 20 分钟的训练时间下,达到了与 D-NeRF 相当的性能,比 D-NeRF 快 70 倍以上,显示了该方法的高效性。
Jun, 2022