通过深度学习，本研究提出了一种新颖的视角合成方法 ViewFusion，其以端到端的生成方式灵活地综合多个输入视角，消除噪声并生成高质量的视角，相较于现有方法具有更好的泛化性能和适用性。

Feb, 2024

利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

Dec, 2023

通过扩散模型进行新视图合成表现出了出色的潜力，然而这些常见方法中图像生成的独立过程导致在保持多视图一致性方面存在挑战。为了解决这个问题，我们引入了 ViewFusion，这是一种新颖的、无需训练的算法，可以无缝地集成到现有的预先训练好的扩散模型中。我们的方法采用自回归的方式，隐含地利用之前生成的视图作为下一个视图生成过程的上下文，确保在新视图生成过程中具有稳健的多视图一致性。通过通过插值去噪将已知视图信息融合到扩散过程中，我们的框架成功地将单视图条件模型扩展为能在多视图条件设置下工作，无需额外的微调。广泛的实验结果表明 ViewFusion 在生成一致且详细的新视图方面的有效性。

Feb, 2024

UpFusion 是一个系统，可以在没有对应姿态信息的情况下，根据稀疏的参考图像执行新视角合成和推断对象的三维表示。

Dec, 2023

本研究中，我们探讨了如何在缺乏信息情况下，运用预先训练的扩散模型来合成全新视角的高质量图像，提出了 DreamSparse 框架，并利用几何模块来抓取 3D 特征，将其转化成空间信息来指导生成过程，并通过改进 2D 扩散模型的方式来保证其生成几何一致的图像，通过实验证明了该方法的有效性。

Jun, 2023

我们引入了一个三维感知扩散模型 ZeroNVS，用于野外场景下的单图像新视图合成。通过训练一种生成式先验模型来处理多物体场景和复杂背景带来的挑战，提出了新的技术。我们还提出了一种新颖的相机条件参数化和归一化方案，以解决深度尺度的二义性问题。此外，我们注意到 Score Distillation Sampling（SDS）在蒸馏 360 度场景时倾向于截断复杂背景的分布，并提出了 “SDS anchoring” 以改善合成新视图的多样性。我们的模型在 DTU 数据集的零样本设置中取得了新的 LPIPS 优势，甚至优于专门在 DTU 上训练的方法。我们进一步将具有挑战性的 Mip-NeRF 360 数据集调整为单图像新视图合成的新基准，并在该设置中展现出强大的性能。我们的代码和数据位于此 http URL。

Oct, 2023

iFusion 是一个新颖的 3D 物体重建框架，只需两个未知相机姿态的视图。通过使用预训练的新视图合成扩散模型进行相机姿态估计和新视图合成，iFusion 能够在 3D 物体重建中表现出良好的性能并与其他方法相融合。

Dec, 2023

使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成 3D 一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

Apr, 2023

我们提出了一种简单而有效的框架 Efficient-3DiM，用于学习单张图像的新视角合成器，通过减小训练开销，包括精心设计的时间步长采样策略、更优质的三维特征提取器和增强的训练方案，实现了将总训练时间从 10 天缩短到不到 1 天，并在相同计算平台上（8 个 Nvidia A100 GPU 实例）加速训练过程。我们进行了全面的实验来证明我们提出方法的高效性和广泛适用性。

Oct, 2023

通过将 Diffusion 模型与特征提取技术相结合，本文提出了 Zero123-6D 方法，并在 CO3D 数据集上进行了实验，展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。

Mar, 2024