MMAug, 2023
Make-It-4D: 从单张图像综合生成一致的长期动态场景视频
Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from a Single Image
Liao Shen, Xingyi Li, Huiqiang Sun, Juewen Peng, Ke Xian...
TL;DR通过估计 4D（包括 3D 几何和场景运动）并填充遮挡区域，本文提出了 Make-It-4D 方法，从单个图像中生成一致的长期动态视频。通过使用分层深度图像（LDIs）表示场景，并利用运动估计和相应的相机姿势引导的场景流来位移特征点云，我们的方法能够保持生成动态视频的全局一致性，并利用预训练扩散模型来修补输入图像的遮挡区域，从而适用于大幅度相机运动。实验结果证明了我们方法的有效性，展示了引人注目的渲染结果。