Nov, 2023
MotionZero: 利用运动先验进行零样本文本到视频生成
MotionZero:Exploiting Motion Priors for Zero-shot Text-to-Video Generation
Sitong Su, Litao Guo, Lianli Gao, Hengtao Shen, Jingkuan Song
TL;DR零样本文本到视频合成通过对不含有视频的提示生成视频。我们提出了一种称为 MotionZero 的提示自适应和解耦运动控制策略,从不同对象的提示中导出运动先验,并将不同对象的运动控制应用于相应的区域中。此外,为了支持运动振幅不同的视频,我们提出了一种运动感知的注意力机制来通过运动振幅调整帧之间的注意力。大量实验证明我们的策略可以正确控制不同对象的运动,并支持多种应用,包括零样本视频编辑。