Oct, 2023
ZeroNVS: 从单张真实图像实现零射击360度视角综合
ZeroNVS: Zero-Shot 360-Degree View Synthesis from a Single Real Image
TL;DR我们引入了一个三维感知扩散模型ZeroNVS，用于野外场景下的单图像新视图合成。通过训练一种生成式先验模型来处理多物体场景和复杂背景带来的挑战，提出了新的技术。我们还提出了一种新颖的相机条件参数化和归一化方案，以解决深度尺度的二义性问题。此外，我们注意到Score Distillation Sampling（SDS）在蒸馏360度场景时倾向于截断复杂背景的分布，并提出了“SDS anchoring”以改善合成新视图的多样性。我们的模型在DTU数据集的零样本设置中取得了新的LPIPS优势，甚至优于专门在DTU上训练的方法。我们进一步将具有挑战性的Mip-NeRF 360数据集调整为单图像新视图合成的新基准，并在该设置中展现出强大的性能。我们的代码和数据位于此http URL。