Mar, 2024

基于分解扩散蒸馏的视频编辑

TL;DREmu Video Edit (EVE) 是一种不依赖于任何有监督视频编辑数据的视频编辑模型,通过分别训练图像编辑适配器和视频生成适配器,并将两者连接到同一个文本到图像模型上,然后引入一种新的无监督蒸馏过程Factorized Diffusion Distillation来使适配器在视频编辑方面达到一致,通过联合蒸馏的方式精确地编辑每一帧,同时通过视频生成适配器确保帧与帧之间的时序一致性,并展示了该方法在解锁其他能力方面的潜力。