ShaRF: 单视角形状有条件的辐射场
本文提出了利用神经辐射场学习单个视角下的 3D 物体建模方法,并通过类别级别的训练数据来重建物体外形,进而实现新视角综合渲染和单目深度估计的高精度结果。
Nov, 2021
本研究提出了一种基于阴影引导的生成式隐式模型,该模型利用多角度光照约束对 3D 物体进行建模,使得在不同光照条件下产生逼真的渲染效果,从而改善先前方法在表达精确 3D 形状方面的局限性,并成功应用于图像重照和 3D 形状重建任务。
Oct, 2021
使用神经辐射场和 GAN 相结合的方法在 3D 重建领域具有前景,但大多数现有方法忽略了准确地估计姿态,而本文提出的一种基于自然图像的端到端重建框架则能解决这一问题,使得单个图像就能恢复 3D 形状、姿态和外观,且表现良好。
Nov, 2022
我们提出了一种新的通用方法,用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型,我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤,而不需要任何显式形状监督。
Apr, 2021
该研究提出了一种新的框架,可以在只有 2D 图像且每个实例只有一个视角的情况下,从单张图像中进行特定类别的三维重建和新形状的生成,并支持较弱的监督。采用网格作为输出表达方式,利用光照参数和明暗信息进行训练,支持对洼地的物体类别进行学习。通过五项应用评估,发现该方法的性能表现优于现有的一些方法。
Jan, 2019
从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务,我们提出了一种新颖的框架,用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示,利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染,克服了部分观测下形状和外观的模糊性,同时支持从新视点渲染图像。除了个体物体,我们的方法还支持将物体水平的表示组合成灵活的场景表示,从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。
Nov, 2023
这篇研究论文提出了一种新型神经网络,可以从 2D 观察中隐式地表示和渲染 3D 物体和场景,通过将 2D 图像中的像素特征投影到 3D 点上,并使用聚合策略来考虑视觉遮挡,生成高质量逼真的新视角。
Oct, 2020
该研究提出一种基于神经投影场的方法,利用阴影来学习场景的神经表示,实现了用稀疏图像信号估计几何信息的目的,并且证明了该方法的泛化能力,并且在与 NeRF 等其他方法的比较中体现出更好的性能。
Mar, 2022
本文提出了一种基于放射场的生成模型,该模型具有高保真度的可渲染三维一致模型,能够更准确地控制相机视点和物体姿态,并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。
Jul, 2020
利用单视图图像下不同点光源捕捉来学习神经场景表示,利用阴影和明暗等单目线索推断场景几何,并学习神经反射场,用于代表场景 3D 几何和 BRDF。实验表明,该方法能够从单视图图像中恢复场景的 3D 几何,包括可见和不可见部分,适用于新视角合成和再照明等应用。
Oct, 2022