使用可微分蒙特卡罗渲染技术进行统一形状和 SVBRDF 恢复
通过不同 iable ray tracing 优化初始粗略网格和每个网格面材质表示,从而实现从低分辨率输入视图中重建细粒度几何和材料细节,本文证明不同 geometry 的初始化对重建的影响,并展示如何在无约束环境中通过智能手机视频和消费者 360° 摄像机的输入来优化实际物体的初始重建。
Dec, 2020
从自然二维图像中恢复现实世界物体的形状和外观是一个长期存在且具有挑战性的逆渲染问题。本文介绍了一种新颖的混合可微渲染方法,能够从传统手持相机捕捉的多视图图像中高效重构场景的三维几何和反射率。我们的方法采用分析与合成的方法,分为两个阶段。在初始化阶段,我们使用传统的 SfM(结构光型三维重建)和 MVS(多视角立体匹配)方法来大致重建与实际场景相匹配的虚拟场景。然后,在优化阶段,我们采用混合方法来优化几何和反射率,其中几何首先使用近似可微渲染方法进行优化,然后再使用基于物理的可微渲染方法优化反射率。我们的混合方法将近似方法的效率与基于物理的方法的高质量结果结合起来。对合成和真实数据进行的大量实验证明,我们的方法在更高效的同时能够产生与最先进方法相似或更高质量的重建结果。
Aug, 2023
快速可靠的形状重建是许多计算机视觉应用的关键要素。神经辐射场证明了逼真的新视角合成是可行的,但在对实景和物体进行快速重建方面要求表现。最近的几种方法基于其他形状表示,特别是 3D 高斯函数。我们对这些渲染器进行扩展,例如集成可微分光流、导出满封闭网格和按射线渲染法线。此外,我们展示了两种最近方法之间的互操作性。这些重建速度快、鲁棒,并且可以在 GPU 或 CPU 上轻松执行。详细的代码和可视化示例请参见网址:https:// 此处为网址
Aug, 2023
本文研究了不同渲染技术的发展,提出一种整合了射线追踪、蒙特卡罗积分、多种重要性采样和去噪的反渲染流程,可以有效地重建三角网格几何、材质和光照,改善材质和光照分离,并提高梯度优化的效果和收敛速度。
Jun, 2022
本文提出了一种新方法,通过使用点光源的移动手持捕捉系统,联合恢复无法被固定采集设备捕获的超物体尺度的三维场景的相机姿势,对象几何和空间变化双向反射分布函数,并引入分布式优化算法进行重构
Jun, 2023
提出了一种新的深度学习架构,该架构对形状和 SVBRDF 进行分阶段估计,并具有联合细化网络,适用于移动硬件,并创建了一个大规模的合成训练数据集,通过实验展示了该方法的优越性。
Apr, 2020
提出了一种不同 iable 渲染方法以从 RGB 图像中直接学习暗示形状和纹理表示形式的三维重建,其可以用于多视角 3D 重建并产生完美的网格结果。
Dec, 2019
本文提出一种称为 “Fuzzy Metaballs” 的紧凑且可解释的表示形式的近似可微渲染器,该渲染器主要通过深度图和轮廓渲染形状,相对于网格的可微渲染器,我们的方法具有更高的效率和质量,可用于解决视觉任务,评估中我们发现,我们的方法是唯一可以与传统技术媲美的,适用于姿态估计和轮廓重建。
Jul, 2022
从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务,我们提出了一种新颖的框架,用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示,利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染,克服了部分观测下形状和外观的模糊性,同时支持从新视点渲染图像。除了个体物体,我们的方法还支持将物体水平的表示组合成灵活的场景表示,从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。
Nov, 2023
本文提出了一种新的可微分渲染框架,可以使用可微分函数直接渲染彩色网格,并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号,并通过实验,证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善,并能够处理基于图像的形状拟合等具有挑战性的任务。
Apr, 2019