我们提出 MVDream，这是一个多视图扩散模型，能够根据给定的文本提示生成几何一致的多视图图像。通过利用在大规模 Web 数据集上预训练的图像扩散模型和从 3D 资源渲染的多视图数据集，所得到的多视图扩散模型可以实现 2D 扩散的概括性和 3D 数据的一致性。该模型可以被应用为 3D 生成的多视图先验，通过 Score Distillation Sampling 来解决现有 2D-lifting 方法中的 3D 一致性问题，从而极大地提高了稳定性。最后，我们展示了多视图扩散模型也可以在少量样本设置下进行微调，用于个性化的 3D 生成，即 DreamBooth3D 应用中，在学习主体身份之后可以保持一致性。

Aug, 2023

本研究中，我们探讨了如何在缺乏信息情况下，运用预先训练的扩散模型来合成全新视角的高质量图像，提出了 DreamSparse 框架，并利用几何模块来抓取 3D 特征，将其转化成空间信息来指导生成过程，并通过改进 2D 扩散模型的方式来保证其生成几何一致的图像，通过实验证明了该方法的有效性。

Jun, 2023

通过引入情景表示变换器和视图条件扩散模型，该论文提出了一个通用框架，用于从单个图像生成一致的多视图图像。通过多视图注意力和极线几何约束来确保三维一致性，该模型能够从仅一个图像输入生成超过基准方法在评估指标（包括 PSNR、SSIM 和 LPIPS）方面的三维网格。

May, 2024

本文提出了一种姿态引导扩散模型来从单张图像中生成一致的、持久的新视角视频，并设计了一个利用极线作为约束的注意力层以促进不同视角之间的关联。实验结果表明，该模型在合成和真实数据集上表现优异，胜过基于 Transformer 和 GAN 的现有方法。

Mar, 2023

提出了一种名为 ConsistDreamer 的新框架，该框架在 2D 扩散模型中引入了 3D 感知和 3D 一致性，从而实现了高保真度的指导场景编辑。

Jun, 2024

本文提出了 SyncDiffusion 方法，使用感知相似性损失从梯度下降同步多重扩散，用于生成更加协调的全景图。

Jun, 2023

通过扩散模型进行新视图合成表现出了出色的潜力，然而这些常见方法中图像生成的独立过程导致在保持多视图一致性方面存在挑战。为了解决这个问题，我们引入了 ViewFusion，这是一种新颖的、无需训练的算法，可以无缝地集成到现有的预先训练好的扩散模型中。我们的方法采用自回归的方式，隐含地利用之前生成的视图作为下一个视图生成过程的上下文，确保在新视图生成过程中具有稳健的多视图一致性。通过通过插值去噪将已知视图信息融合到扩散过程中，我们的框架成功地将单视图条件模型扩展为能在多视图条件设置下工作，无需额外的微调。广泛的实验结果表明 ViewFusion 在生成一致且详细的新视图方面的有效性。

Feb, 2024

使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成 3D 一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

Apr, 2023

提出了 MultiDiff 方法，它是一种用于从单个 RGB 图像一致地合成新视角的新方法，通过引入单目深度预测器和视频扩散模型作为强先验条件，实现了高质量和多视角一致的结果。

Jun, 2024

使用 ImageDream 创新的图像提示多视角扩散模型进行 3D 物体生成，通过提高视觉几何准确性来产生比现有最先进的图像条件方法更高质量的 3D 模型。

Dec, 2023