Mar, 2024
DragAnything：使用实体表示的任意物体运动控制
DragAnything: Motion Control for Anything using Entity Representation
Wejia Wu, Zhuang Li, Yuchao Gu, Rui Zhao, Yefei He...
TL;DRDragAnything 利用实体表示来实现对可控视频生成中的任何对象的运动控制。与现有的运动控制方法相比，DragAnything 具有几个优势：轨迹为基础的方法更易于用户交互，不需要获取其他指导信号（例如，遮罩、深度图）的工作字眼；用户只需在交互过程中绘制一条线（轨迹）。其次，我们的实体表示作为一个开放域的嵌入，能够表示任何对象，实现对各种实体（包括背景）的运动控制。最后，我们的实体表示允许同时对多个对象进行不同的运动控制。大量实验证明，DragAnything 在 FVD、FID 和用户研究方面实现了最先进的性能，尤其在对象运动控制方面，我们的方法在人类投票中比以前的方法（例如 DragNUWA）提高了 26%。