我们提出了一种名为3DiM的扩散模型，用于3D新视图合成，能够将单个输入视图转换为许多视图上的一致且清晰的完成。 3DiM的核心组成部分是姿态条件的图像到图像扩散模型，它以源视图及其姿态作为输入，并将新姿态的视图作为输出生成。

Oct, 2022

DiffRF是一种针对三维辐射场合成的新方法，利用去噪扩散概率模型生成体积辐射场。通过将去噪公式与渲染损失配对，我们的模型可以学习偏态先验，使其倾向于良好的图像质量而不是试图复制浮动伪像等拟合误差。与3D GAN相比，我们的扩散方法自然地实现了条件生成，例如掩蔽完成或推理时的单视图3D合成。

Dec, 2022

使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成3D一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

Apr, 2023

本文提出了一种称为SSDNeRF的新方法，它使用表达能力强的Diffusion Model从多视图图像中学习神经辐射场（NeRF）的可推广先验，实现3D重建和先验学习的同时, 证明了该方法在无条件生成和单/稀疏视图3D重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。

Apr, 2023

本文提出了一种基于条件扩散模型的新型生成模型，用于从单个输入图像生成相对的摄像机视图的连续序列的照片般逼真、视角一致、空间几何连续的图像。

Apr, 2023

我们提出了一种简单而有效的框架 Efficient-3DiM，用于学习单张图像的新视角合成器，通过减小训练开销，包括精心设计的时间步长采样策略、更优质的三维特征提取器和增强的训练方案，实现了将总训练时间从10天缩短到不到1天，并在相同计算平台上（8个Nvidia A100 GPU实例）加速训练过程。我们进行了全面的实验来证明我们提出方法的高效性和广泛适用性。

Oct, 2023

利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

Dec, 2023

通过仅使用单个RGB图像作为输入，LFdiff采用基于扩散的生成框架针对光场合成进行设计，利用单目深度估计网络估计视差并结合新颖的条件方案和面向光场数据的噪声估计网络。实验结果表明，LFdiff在综合光场合成方面具有卓越表现，并且生成的光场数据具有广泛的应用性，涵盖了光场超分辨率和重焦等应用领域。

Feb, 2024

通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

Feb, 2024

本研究解决了现实场景的视图合成中的稀疏采样问题，提出了一种新的局部光场融合算法，它从不规则采样视图生成高质量的新视图，显著减少了所需视图数量。通过扩展传统全光谱采样理论，我们指出用户应如何有效采样，以达到尽可能高的感知质量，进而推动了神经辐射场等新场景表示技术的发展。

Aug, 2024