Mar, 2024

Videoshop:具有噪声外推扩散反演的本地化语义视频编辑

TL;DR我们介绍了Videoshop,这是一种针对局部语义编辑的无需训练的视频编辑算法。Videoshop允许用户使用任何编辑软件,包括Photoshop和生成修饰,来修改第一帧,并自动将这些变化以语义、空间和时间一致的动作传播到其余的帧。与现有的仅通过不精确的文本指令进行编辑的方法不同,Videoshop允许用户添加或删除对象、在视频中进行语义变更、插入股票照片等,并对位置和外观进行精细控制。我们通过基于图像的视频编辑,并通过对编辑图像的噪声推断反演来生成视频,实现了这一目标。在2个编辑基准测试中,通过使用10个评估指标,Videoshop相对于6个基线方法获得更高质量的编辑结果。