可微体渲染:在没有 3D 监督的情况下学习隐式 3D 表示
本研究提出了一种基于射线场探测技术的隐式表面的学习方法,以及一种泛函约束方法,用于无需三维监督的三维形状推断。实验表明,在单视角基础上,使用我们的方法从图像中重建三维模型,无论是定量还是定性上都优于现有技术。
Nov, 2019
通过学习,我们提出了一种表示动态物体的方法,该方法由编码器 - 解码器网络和可微分的射线行进操作组成,它不需要明确重建或跟踪物体,使用了 3D 体积表示法,表现出更好的图像质量,为高分辨率应用提供了一种从表面到体积的方法
Jun, 2019
通过使用一阶微分特性 (即,表面法线),本文展示了训练神经表示形成高准确度的 3D 表面重建,即使只有两个 RGB 视图可用,极大地改善了以前难以捕捉的复杂几何细节和薄结构。
Jun, 2024
通过体积渲染和专注深度融合先验进行多视角 RGBD 图像学习神经隐式表示,以准确进行 3D 重建。该方法利用截断有符号距离函数(TSDF)从所有可用的深度图像融合并感知粗糙三维结构,解决了通过体积渲染进行几何推断的不完整深度和被遮挡结构的问题。通过引入注意机制,直接将深度融合先验与学习到的占用情况作为神经隐式函数,该机制可以用于整个场景或同时定位和映射(SLAM)背景下的部分场景。在合成和真实世界的广泛基准测试中,该方法超越了最新的神经隐式方法。
Oct, 2023
本文提出了一种新的可微分渲染框架,可以使用可微分函数直接渲染彩色网格,并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号,并通过实验,证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善,并能够处理基于图像的形状拟合等具有挑战性的任务。
Apr, 2019
本文提出了 DIB-R,一种可微的渲染框架,使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算,在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。
Aug, 2019
本文提出了一种用于室内场景的统一、基于学习的逆渲染框架,包括反照率、法线、深度和三维空间变化的照明的联合估计,其中设计了一种基于物理学的可微渲染器,利用我们的三维照明表示,形成能量守恒的图像形成过程,实现所有内在属性的联合训练,以重新渲染约束保证物理正确性,实验表明,该方法在量化和质量上优于之前的工作,能够为增强现实应用(例如虚拟物体插入)产生逼真的结果,即使对于高度镜面的物体也是如此。
Sep, 2021
该研究提出了一种基于 RGBD-GAN 的新型生成模型,可以从 2D 图像中实现无监督的 3D 表示学习,并能通过相机参数进行图像生成和深度图像生成,无需 3D 注释,通过实验证明其对各种生成器体系结构都具有普适性。
Sep, 2019
通过引入一种变分形状推理方法以及一种新的几何损失函数,我们提出了一种端到端的可训练模型,可以直接预测任意拓扑的隐式表面表示,并演示了该模型在 3D 表面预测任务中的准确性和灵活性。
Jan, 2019
本文介绍了一种新的分析合成技术,通过鲁棒的粗到细优化和基于物理的可微分渲染,能够重新构建现实世界对象的形状和外观,统一处理几何和反射的优化,利用图像梯度获得物理精度的梯度估计。
Mar, 2021