Jun, 2024
SVG：通过去噪帧矩阵生成 3D 立体视频
SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix
Peng Dai, Feitong Tan, Qiangeng Xu, David Futschik, Ruofei Du...
TL;DR使用现成的单目视频生成模型，我们提出了一种无姿态、无需训练的方法来生成 3D 立体视频，并采用了新颖的帧矩阵视频修复框架。我们的方法利用估计的视频深度将生成的单目视频变形为立体基线上的摄像机视图，并使用视频生成模型对观察到的不同时间戳和视图的帧进行修复。通过减轻潜在空间中从不可遮挡区域传播的负面影响，我们还开发了一种去遮挡边界再注入方案来进一步提高视频修复的质量。我们对包括 Sora、Lumiere、WALT 和 Zeroscope 等各种生成模型的视频进行了实验证明我们提出的方法在之前的方法基础上具有显著的改进。