介绍了一种用于集成多视角反射和法线映射的通用范例。它使用像素级联合参数化反射和法线，将它们视为在模拟的不同光照下渲染的辐射矢量。该方法在神经体渲染的基于 3D 重建中，实现了反射和法线映射的无缝集成，同时保留单一的优化目标，从而优于最先进的 MVPS 方法，特别是在高曲率或低可见性区域的详细 3D 重建方面。

Dec, 2023

基于神经隐式表面表示的 3D 重建框架 NC-SDF，通过视角缺陷的学习和修正，提高了重建的全局一致性和局部细节，并通过信息丰富的像素采样策略和混合几何建模方法进一步改善了重建质量。

May, 2024

我们提出了 GenS，一个端到端的通用神经表面重建模型，可以通过结合有符号距离函数（SDF）和可微体渲染，将多视图图像无需 3D 监督进行表面重建。与现有解决方案相比，我们的表示更强大，能够恢复高频细节并同时保持全局平滑性。同时，我们引入多尺度特征度量一致性，以在更具区分性的多尺度特征空间中施加多视图一致性，从而抵抗光度一致性的失效。我们还设计了一种视角对比损失，通过将密集输入中的几何先验精炼到稀疏输入中，强制模型对少视角覆盖的区域具有鲁棒性。在流行的基准测试上进行的大量实验证明，我们的模型能够很好地推广到新场景，并且胜过现有的最先进方法，即使那些使用地面真实深度监督的方法。

Jun, 2024

我们提出了一种新颖的方法，用于从多个图像中进行 3D 物体表面重建，其中只捕获了物体的一部分。我们的方法基于两个最新发展：使用神经辐射场进行表面重建，用于重建表面的可见部分，以及使用预训练的 2D 扩散模型的指导（SDS）完成未观察到的区域的形状。我们引入了三个组件：首先，建议使用法线图作为 SDS 的纯几何表示，而不是与外观信息交织在一起的颜色渲染。其次，我们在训练过程中使 SDS 噪声保持固定，这会导致更一致的梯度和更好的收敛性。第三，我们提出了多视角 SDS 作为一种在不对底层 2D 稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在 BlendedMVS 数据集上对我们的方法进行评估，结果显示相比竞争方法，我们取得了显著的定量和定性改进。

Dec, 2023

使用 2D 法线贴图进行弱监督的基于深度学习的方法，实现服装人体的三维重建。利用神经网络推断在休息姿势下围绕身体离散的四面体网格上的有符号距离函数 (SDF)，接着利用推断得到的姿势和相机参数生成法线贴图。通过 Marching Tetrahedra 从四面体网格上的 SDF 计算出一个三角化表面，从而方便进行微分计算（反向传播）。因此，仅凭借真实的法线贴图（没有体积信息的真实数据），我们就可以训练网络从相应的 RGB 图像中生成 SDF 值。可选择性地使用多视角损失以改善结果。我们展示了该方法在网络推断和三维重建方面的有效性。

Nov, 2023

通过使用一阶微分特性 (即，表面法线)，本文展示了训练神经表示形成高准确度的 3D 表面重建，即使只有两个 RGB 视图可用，极大地改善了以前难以捕捉的复杂几何细节和薄结构。

Jun, 2024

本文介绍了一种基于三种滤波器的表面法线估计方法，适用于结构化的深度图像。作者使用三个大型的合成数据集以及比较其他基于几何的表面法线估计方法，证明了该方法的优越性，并提供了公共数据集和源代码。

May, 2020

本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

Jun, 2023

利用表面法线预测和外观线索从大型 CAD 库中检索 2D 静态图像中所描述的物体的 3D 模型，该模型基于预训练 Oxford VGG 卷积神经网络（CNN），实现了关于表面法线预测的 NYUv2 RGB-D 数据集的最新准确性，并在姿态和风格的联合学习中实现了所述的 3D 模型检索操作。

Apr, 2016

从单一视角解决图像到三维的问题是一个不适定问题，现有的神经重建方法依靠场景特定的优化限制其泛化能力。为了克服现有方法在泛化和一致性方面的局限性，我们引入了一种新颖的神经渲染技术。我们的方法通过几何编码体积和超网络，采用有符号距离函数作为表面表示，并从生成的多视图输入构建神经编码体积，在测试时根据输入图像调整 SDF 网络的权重，通过超网络以前馈方式实现对新场景的模型适应。为了减轻合成视图产生的伪影，我们提出了一个体素变换模块来改善图像特征的聚合，而不是单独处理每个视点。通过我们提出的 Hyper-VolTran 方法，我们避免了场景特定优化的瓶颈，并保持从多个视点生成的图像的一致性。我们的实验证明了我们提出的方法的优越性，具有一致的结果和快速生成。

Dec, 2023