May, 2024
ReVideo: 重新制作视频并具备运动和内容控制
ReVideo: Remake a Video with Motion and Content Control
Chong Mou, Mingdeng Cao, Xintao Wang, Zhaoyang Zhang, Ying Shan...
TL;DR本文介绍了一种名为 ReVideo 的视频重制方法，通过指定内容和运动，允许在特定区域进行精确的视频编辑。通过修改第一帧实现内容编辑，而基于轨迹的运动控制提供了直观的用户交互体验。通过逐步分离内容和运动控制的训练策略以及时空自适应融合模块，解决了内容和运动控制之间的任务耦合和训练不平衡问题。广泛的实验证明，ReVideo 在几个精确的视频编辑应用上表现出有希望的性能，包括：（1）在保持运动恒定的情况下局部改变视频内容，（2）保持内容不变并自定义新的运动轨迹，（3）修改内容和运动轨迹。该方法还可以无需特定训练地无缝扩展到多区域编辑，展示了它的灵活性和鲁棒性。