GRF:学习通用辐射场进行三维表示与渲染
本文提出了一种基于放射场的生成模型,该模型具有高保真度的可渲染三维一致模型,能够更准确地控制相机视点和物体姿态,并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。
Jul, 2020
提出了一种新型的泛化神经辐射场(NeRF)范式,通过基于点而非基于图像的渲染构建了可泛化的神经场,称之为可泛化神经点场(GPF)。该模型通过显式建模可见性并将其与神经特征相结合,提出了一种非均匀取样策略以提高渲染速度和重构质量,并利用特征增强的可学习内核在具有差异性几何结构的区域缓解形变。该研究表明,相比于其他方法和基准数据集,该模型在三个数据集上无论在泛化还是微调设置下,都能提供更好的几何形状、视角一致性和渲染质量,初步证明了该新范式在泛化 NeRF 中的潜力。
Jan, 2024
本文提出了利用神经辐射场学习单个视角下的 3D 物体建模方法,并通过类别级别的训练数据来重建物体外形,进而实现新视角综合渲染和单目深度估计的高精度结果。
Nov, 2021
提出一种在三维体积中学习隐式表面的方法,从而有效地进行点采样和辐射场学习,在保持 3D 一致性的同时生成高质量、具有真实细节的图像。
Dec, 2021
通过提出称为 Omni-Recon 的框架,我们的工作旨在开发一个通用的 NeRF 来处理各种 3D 任务,其中关键见解是基于图像的渲染管道可以将 2D 图像特征提升到 3D 领域,从而在一种通用化的方式下扩展广泛研究的 2D 任务到 3D 世界。
Mar, 2024
GHNeRF 是一种新颖的方法,通过学习 2D/3D 人体关节位置与 NeRF 表示来解决 3D 人体表示中缺乏的关键信息,以实现对人体生物力学特征的编码,并得到接近实时的最先进结果。
Apr, 2024
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
使用深度学习技术,提出了一种名为 GNR 的通用神经演员框架,通过压缩轻场数据来从几何和外观方面生成新颖的视角下的人体影像,并在多视角摄像机下构建的数据集 GeneBody-1.0 上证明了其鲁棒性和通用性。
Apr, 2022
本研究提出了 LaTeRF 方法,通过引入 “对象性” 概率,扩展 NeRF 公式,结合自然语言描述、点标签等信息从场景中提取出感兴趣的物体,并结合预训练的 CLIP 模型和可微分对象渲染器来修复物体的遮挡部分。实验结果表明该方法在合成和真实数据集上均能实现高保真物体提取。
Jul, 2022