通过非可微取样的可微曲面渲染
提出了一种不同iable渲染方法以从RGB图像中直接学习暗示形状和纹理表示形式的三维重建,其可以用于多视角3D重建并产生完美的网格结果。
Dec, 2019
本文介绍一种基于Deep Signed Distance Function的不可微分网格表述方法MeshSDF,通过推理隐式场的扰动如何影响局部表面几何,最终不限制分辨率和拓扑结构地将Deep Implicit Field显式地表示成一个可微分的网格形状,该方法在单视角重建和基于物理的形状优化方面优于现有技术。
Jun, 2020
本文提出了一种用于改进神经隐函数 3D 表示中采样和正则化的混合模型,利用 iso-points 作为神经隐函数的显式表示,使训练时能够实时计算并更新采样点,以捕获重要的几何特征和优化几何约束,提高重建质量和拓扑准确性。实验结果表明,相比现有方法,该方法可以更快地收敛、更好地泛化、更准确地恢复细节和拓扑结构。
Dec, 2020
该研究通过统一的方式制定了表面和体渲染,从而使得无需任何输入蒙版即可实现准确表面重建,并通过实验证明其能够在各方面都优于 NeRF 方法并与 IDR 方法相媲美。
Apr, 2021
本文提出了 Differentiable Stereopsis 方法,这是一种从少量输入视角和嘈杂相机中重建形状和纹理的多视角立体成像方法,其采用传统立体成像和现代可微渲染相结合的方法搭建了一个端到端的模型,通过简单的梯度下降同时更新形状和相机,并通过多量化分析将其与传统的多视角立体成像技术和最先进的基于学习的方法进行比较,在挑战实际场景中展示了有说服力的重建效果。
Oct, 2021
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
本文主要介绍了一种基于神经辐射场(NeRF)的框架,用于优化被限定的带折射物体边界体积的辐射场,以构建折射物体的新视图综合。作者使用分层和分级抽样技术,并使用Eikonal方程跟踪沿曲线路径绘制样本,演示了本框架在多个场景中均比最先进的方法具有更好的感知相似性和渲染质量显着提高。
Nov, 2022
快速可靠的形状重建是许多计算机视觉应用的关键要素。神经辐射场证明了逼真的新视角合成是可行的,但在对实景和物体进行快速重建方面要求表现。最近的几种方法基于其他形状表示,特别是3D高斯函数。我们对这些渲染器进行扩展,例如集成可微分光流、导出满封闭网格和按射线渲染法线。此外,我们展示了两种最近方法之间的互操作性。这些重建速度快、鲁棒,并且可以在GPU或CPU上轻松执行。详细的代码和可视化示例请参见网址:https://此处为网址
Aug, 2023
我们提出了一种新颖的方法,用于从多个图像中进行3D物体表面重建,其中只捕获了物体的一部分。我们的方法基于两个最新发展:使用神经辐射场进行表面重建,用于重建表面的可见部分,以及使用预训练的2D扩散模型的指导(SDS)完成未观察到的区域的形状。我们引入了三个组件:首先,建议使用法线图作为SDS的纯几何表示,而不是与外观信息交织在一起的颜色渲染。其次,我们在训练过程中使SDS噪声保持固定,这会导致更一致的梯度和更好的收敛性。第三,我们提出了多视角SDS作为一种在不对底层2D稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在BlendedMVS数据集上对我们的方法进行评估,结果显示相比竞争方法,我们取得了显著的定量和定性改进。
Dec, 2023
我们提出了一种简单的算法,用于可微性渲染被有符号距离场(SDF)表示的表面,从而使渲染能够容易地融入基于梯度的优化流程中,并通过容忍非零偏差以换取低方差和架构简化的方式来解决与可见性相关的导数问题。我们的方法将边界积分扩展为一个窄带,这在基于SDF表示下的表面上采样起来很容易。我们在端到端逆向渲染任务中展示了我们方法的性能和稳健性,并获得与现有工作相竞争或优越的结果。
May, 2024