通过对多视角一致的 RGB-D 图像进行生成建模，我们提出了 MVD-Fusion：一种用于通过单视角推理 3D 的方法。

Apr, 2024

从单一视角解决图像到三维的问题是一个不适定问题，现有的神经重建方法依靠场景特定的优化限制其泛化能力。为了克服现有方法在泛化和一致性方面的局限性，我们引入了一种新颖的神经渲染技术。我们的方法通过几何编码体积和超网络，采用有符号距离函数作为表面表示，并从生成的多视图输入构建神经编码体积，在测试时根据输入图像调整 SDF 网络的权重，通过超网络以前馈方式实现对新场景的模型适应。为了减轻合成视图产生的伪影，我们提出了一个体素变换模块来改善图像特征的聚合，而不是单独处理每个视点。通过我们提出的 Hyper-VolTran 方法，我们避免了场景特定优化的瓶颈，并保持从多个视点生成的图像的一致性。我们的实验证明了我们提出的方法的优越性，具有一致的结果和快速生成。

Dec, 2023

通过引入情景表示变换器和视图条件扩散模型，该论文提出了一个通用框架，用于从单个图像生成一致的多视图图像。通过多视图注意力和极线几何约束来确保三维一致性，该模型能够从仅一个图像输入生成超过基准方法在评估指标（包括 PSNR、SSIM 和 LPIPS）方面的三维网格。

May, 2024

提出了一种基于多视角一致性生成对抗网络（MVCGAN）的高质量 3D 感知图像综合方法，采用几何约束技术，利用深度和相机变换矩阵等信息实现多视角联合优化，同时采用两阶段训练策略和混合训练技术提高模型的生成图像质量，实验结果表明，本方法达到了最先进的性能水平。

Apr, 2022

本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

Jun, 2023

在本文中，我们通过考虑视频生成器，使用高斯喷洒的 3D 重建算法，减少 2D 生成器网络的评估次数 10-100 倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的 3D 资源。

Feb, 2024

本文提出了基于特征体积的实时密集重建方法，采用稀疏的深度特征体积来预测 TSDF 值，通过多视角图像聚合细节信息进行时序融合，实现了比以往更高分辨率和更完整细节的三维几何图形重建，其在室内和室外场景中都比现有的方法具有更好的实时重建性能。

May, 2023

从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

Nov, 2023

本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架，以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外，作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核，用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。

Aug, 2021

从自然二维图像中恢复现实世界物体的形状和外观是一个长期存在且具有挑战性的逆渲染问题。本文介绍了一种新颖的混合可微渲染方法，能够从传统手持相机捕捉的多视图图像中高效重构场景的三维几何和反射率。我们的方法采用分析与合成的方法，分为两个阶段。在初始化阶段，我们使用传统的 SfM（结构光型三维重建）和 MVS（多视角立体匹配）方法来大致重建与实际场景相匹配的虚拟场景。然后，在优化阶段，我们采用混合方法来优化几何和反射率，其中几何首先使用近似可微渲染方法进行优化，然后再使用基于物理的可微渲染方法优化反射率。我们的混合方法将近似方法的效率与基于物理的方法的高质量结果结合起来。对合成和真实数据进行的大量实验证明，我们的方法在更高效的同时能够产生与最先进方法相似或更高质量的重建结果。

Aug, 2023