本文介绍了一种基于神经网络的方法来从单张图片中估计物体的3D形状和外观，将其分解成形状和外观两个隐变量，通过优化这两个变量和网络参数，可以精准地还原输入物体，并能够处理训练领域之外的真实图像。

Feb, 2021

本文提出一种名为NeuralLift-360的新框架，使用深度感知的神经辐射表示（NeRF）和去噪扩散模型学习场景，通过引入排名损失，可以使用自然图像进行粗略深度估计，这种技术可以缓解3D艺术家和XR设计师繁琐的工作流程，生成出高质量的360度3D对象，具有以下优点：自然图像合成、顶多的深度估计、一致的引导，大力打破现有基线模型！

Nov, 2022

该研究提出了一种新的方法，使用单个图像进行3D重建，生成了一个完整的360度3D纹理网格，改进于现有方法，具有更好的几何形状和一致性。

Jun, 2023

使用少量照片重建现实场景的方法，通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化，从而在超约束区域综合出逼真的几何和纹理，同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比，我们在各种真实世界数据集上进行了广泛评估，包括正向和360度场景，并展示了显著的性能改进。

Dec, 2023

UpFusion是一个系统，可以在没有对应姿态信息的情况下，根据稀疏的参考图像执行新视角合成和推断对象的三维表示。

Dec, 2023

通过深度学习，本研究提出了一种新颖的视角合成方法ViewFusion，其以端到端的生成方式灵活地综合多个输入视角，消除噪声并生成高质量的视角，相较于现有方法具有更好的泛化性能和适用性。

Feb, 2024

通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

Feb, 2024

通过预训练的稳定扩散模型，基于个性化文本到图像模型Dreambooth，我们的研究发现视图概念可以被学习和分离，并通过少量示例迁移到新对象，我们引入了一种名为FSViewFusion的学习策略，通过单个场景的一张图像样本来传递视图的知识，通过低秩适配器在少量样本上学习新对象，通过大量实验证明我们的方法能够在野外图像中生成可靠的视图样本。

Mar, 2024

DiffHuman是一种基于概率的方法，通过一个单一的RGB图像实现逼真的三维人体重建。与确定性方法不同，DiffHuman根据二维图像预测三维重建的概率分布，可以生成与图像一致的多个详细的三维人体模型。此外，DiffHuman还引入了一个生成器神经网络，可以以大幅减少的运行时间进行渲染，从而实现了一种新颖的双分支扩散框架。在实验中，DiffHuman在重建可见表面方面与现有技术不相上下，并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。

Mar, 2024

本文针对现有单视图3D重构方法在未见区域的预测过于依赖预训练扩散模型的偏置的问题，提出了视觉各向同性3D重构模型VI3DRM。该模型在一致的ID和视角解耦的3D潜在空间中运作，能够精准构建点地图，生成与真实照片无差别的高度真实图像。实验显示，VI3DRM在NVS任务上显著优于现有最佳方法DreamComposer，其PSNR、SSIM和LPIPS指标均有显著提升。

Sep, 2024