可微体渲染:在没有3D监督的情况下学习隐式3D表示
本文提出了一种新的可微分渲染框架,可以使用可微分函数直接渲染彩色网格,并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号,并通过实验,证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善,并能够处理基于图像的形状拟合等具有挑战性的任务。
Apr, 2019
本研究提出了一种基于射线场探测技术的隐式表面的学习方法,以及一种泛函约束方法,用于无需三维监督的三维形状推断。实验表明,在单视角基础上,使用我们的方法从图像中重建三维模型,无论是定量还是定性上都优于现有技术。
Nov, 2019
提出了一种可微球追踪算法,可以将隐式有符号距离函数的深度学习方法与逆向图形方法联系起来。该渲染方法可以高效地重建不同类型的 3D 形状,具有优秀的泛化能力和稳健性。
Nov, 2019
本文介绍一种神经网络架构,通过联合学习未知几何形状、相机参数和神经渲染器,能够高质量、高精度、高细节地实现多角度3D表面重建。该方法通过零级集的神经网络表示几何形状,并采用基于渲染方程的神经渲染器来预测表面上的光的反射情况,具有广泛的光照和材质建模能力。
Mar, 2020
提出一种能够支持显式和隐式表示,可在遮挡边界提供导数的3D表面的可微渲染方法,使用非可微光栅化对表面进行采样,然后应用可微的深度感知的点喷洒技术生成最终图像,适用于大型3D模型和隐式表面定义提取的等值面的应用。
Aug, 2021
本文提出了 Differentiable Stereopsis 方法,这是一种从少量输入视角和嘈杂相机中重建形状和纹理的多视角立体成像方法,其采用传统立体成像和现代可微渲染相结合的方法搭建了一个端到端的模型,通过简单的梯度下降同时更新形状和相机,并通过多量化分析将其与传统的多视角立体成像技术和最先进的基于学习的方法进行比较,在挑战实际场景中展示了有说服力的重建效果。
Oct, 2021
本文提出了一种新的神经重建方法,使用可访问的 2D 图像作为监督来进行 3D 场景重建,其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建,并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。
Jun, 2023
从单视图图像重建详细的3D场景仍然是一项具有挑战性的任务,我们提出了一种新颖的框架,用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场(SSR)表示,利用显式的3D形状监督和颜色、深度和表面法线图的体素渲染,克服了部分观测下形状和外观的模糊性,同时支持从新视点渲染图像。除了个体物体,我们的方法还支持将物体水平的表示组合成灵活的场景表示,从而实现了整体场景理解和3D场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。
Nov, 2023
通过使用一阶微分特性(即,表面法线),本文展示了训练神经表示形成高准确度的3D表面重建,即使只有两个RGB视图可用,极大地改善了以前难以捕捉的复杂几何细节和薄结构。
Jun, 2024