该论文提出了一种基于神经辐射场的通用逼真新视角合成方法,该方法包括几何推理和渲染两个主要阶段,可用于各种合成和实际数据集。
Nov, 2021
本文提出了一种基于 NeRFA 的 seq2seq 形式,用于视图合成,在四个数据集上优于 NeRF 和 NerFormer,并在单场景视角合成和类别中心的新视图合成两个方面取得了最新技术成果。
Jul, 2022
本研究提出了一种基于 2D 的神经网络方法,结合编码键和转换模型,用于实现新颖视角合成,在不需要显式 3D 理解的情况下,相比于 NeRF 方法更高效。
Mar, 2022
使用大规模语言模型中的 Mixture-of-Experts (MoE) 方法来增强一种称为 GNT 的 NeRF 模型,建立了一种能够合成未见场景新视角的跨场景可泛化的 NeRF 模型,称为 GNT with Mixture-of-View-Experts (GNT-MOVE)。实验表明,该模型在迁移到未见场景时展现出卓越的泛化能力,在零样本和少样本的设置中都取得了最新的结果。
Aug, 2023
该研究提出一种新的方法,利用极线几何法提取采样自场景的块,将其通过一系列变换器进行预处理后预测目标采样射线的颜色,从而在不需要深度特征和 NeRF-like 卷积体积渲染的情况下,实现对未见过的场景的新视图综合,其具有更好的泛化性能,并且即使使用比以前工作少得多的数据进行训练,也能胜过现有技术水平。
本研究提出利用全局和局部特征构建表达式三维模型的方法,通过训练 MLP 网络,实现从单个未定位图像中合成新视角,并在多个物体类别上进行泛化,获得了比现有方法更出色的性能和更丰富的细节渲染。
使用多视图输入合成新视图图像,神经辐射场(NeRF)已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场(GSNeRF)的方法,该方法独特地将图像语义纳入合成过程中,从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成:语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入,提取语义和几何特征。在后者的指导下,利用得到的图像几何信息,进行图像和语义渲染,从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作,并进一步验证了我们的采样策略的有效性。
Mar, 2024
Gen-NeRF 是一个算法硬件协同设计框架,可以加速可广义的 NeRF (神经辐射场) 生成新视点,从而实现实时的虚拟和增强现实体验。
Apr, 2023
通过提出称为 Omni-Recon 的框架,我们的工作旨在开发一个通用的 NeRF 来处理各种 3D 任务,其中关键见解是基于图像的渲染管道可以将 2D 图像特征提升到 3D 领域,从而在一种通用化的方式下扩展广泛研究的 2D 任务到 3D 世界。
本研究提出了一种基于神经辐射场的高保真度自由视点下人体合成的通用且高效的管道,其中利用几何引导的多视点特征整合方法和渐进式渲染管道通过提供完整的几何体积和预测的密度值来显著提高多个泛化设置下的综合性能和渲染效率。
Dec, 2021