Feb, 2024

Boximator: 生成富有丰富和可控的动作用于视频合成

PDF
TL;DRBoximator 是一种新的视频合成方法，通过引入硬盒和软盒两种约束类型，在条件帧中选择目标物体并在未来帧中粗略或严格定义其位置、形状或运动路径，以实现丰富且可控的运动；在训练过程中，通过冻结原始权重并仅训练控制模块，保持基础模型的知识；通过引入一种新颖的自我追踪技术，大大简化了目标物体与盒子的相关性学习；实验证明，Boximator 在视频质量和运动可控性上均取得了最先进的结果，并经过引入盒子约束进一步提升，用户评估结果也表明用户喜欢 Boximator 的生成结果。
motion controlboximatorvideo synthesistraining challengesmotion controllability
发现论文，激发创造
  • Ctrl-V: 用边界框控制的对象动作实现更高保真度的视频生成

    使用像素级渲染的二维或三维边界框作为条件，提出了一种可控视频生成模型，并创建了一个边界框预测器，可以预测 25 帧剪辑中每帧的多达 15 个边界框。在 KITTI、Virtual-KITTI 2 和 BDD100k 等三个著名视频数据集上进行了实验证明。

    Jun, 2024

  • TrailBlazer：基于扩散的视频生成的轨迹控制

    通过使用边界框来引导主题，在不进行神经网络训练、微调、推理时间优化或使用现有视频的情况下，本文专注于改善视频合成中的可控性。

    Dec, 2023

  • VideoComposer: 具有动态可控性的组合式视频合成

    本研究提出了一种名为 VideoComposer 的图像合成模型，它能够通过文本、空间或时间条件实现对合成视频的控制，并且采用了运动向量和 STC 编码器等技术实现了高帧间一致性。

    Jun, 2023

  • 图像导体：交互式视频合成的精准控制

    提出了一种从单张图像生成视频资产的方法，通过 Image Conductor 实现了摄像机转换和物体移动的精确控制，并通过训练策略、引导技术和数据处理流程进一步改进，展示了在交互式视频合成中实现精准控制的效果。

    Jun, 2024

  • 图像动画的一阶运动模型

    本文描述了一种基于自监督学习的框架，可以将一个源图像中的对象根据驱动视频的运动进行动画处理，而不需要使用任何注释或有关特定对象的先前信息。使用一个经过训练的视频集合，我们的方法可以应用于此类对象的任何对象。

    Feb, 2020

  • MimicMotion： 自信感知姿势引导下的高质量人体动作视频生成

    提出了一种可控的视频生成框架 MimicMotion，通过引入自信姿势引导、基于姿势置信度的区域损失放大和渐进式潜在融合策略，实现了生成任意长度高质量视频的目标，并在各个方面显示出与之前方法相比的显著改进。

    Jun, 2024

  • Motion-Zero：基于扩散的视频生成中的零表示移动物体控制框架

    我们提出了一种新颖的零样条移动物体轨迹控制框架 Motion-Zero，通过提供基于位置的先验来改善移动物体的外观稳定性和位置准确性，并利用 U-net 的注意力图在扩散模型的去噪过程中直接应用空间约束，从而进一步确保移动物体的位置和空间一致性，并通过引入移动注意力机制实现时序一致性的保证。这种方法可以灵活运用于各种最先进的视频扩散模型，无需任何训练过程，大量实验证明我们的方法可以控制物体的运动轨迹并生成高质量的视频。

    Jan, 2024

  • 利用物体运动预测实现未来视频合成

    利用背景场景和移动物体的非刚性变形和仿射变换对未来视频帧进行预测，实现较低的变形失真，并在 Cityscapes 和 KITTI 数据集上呈现更高的视觉质量和准确性。

    Apr, 2020

  • MotionClone：无需训练的可控视频生成运动克隆

    MotionClone 是一个无需训练的框架，通过时间注意力机制从参考视频中克隆运动以控制文本到视频生成，同时引入了区域感知的语义引导机制提升生成模型的空间关系和随机应变能力，实验结果显示 MotionClone 在全局摄像机运动和局部目标运动方面表现出色，并具有运动保真度高、文本对齐准确和时序一致等显著优势。

    Jun, 2024

  • MotionCtrl：统一灵活的视频生成运动控制器

    该论文介绍了 MotionCtrl，这是一个用于视频生成的统一和灵活的运动控制器，通过有效和独立地控制相机运动和物体运动，实现更精细的运动控制和促进两种类型运动的灵活多样组合。

    Dec, 2023