Feb, 2024

交互式视频：以用户为中心的可控视频生成与多模态协同指导

PDF
TL;DR我们介绍了 InteractiveVideo，这是一个以用户为中心的视频生成框架，通过动态交互允许用户通过各种直观的机制在整个生成过程中指导生成模型，例如文本，图片提示，绘画，拖放等。我们提出了一种协同多模态指导机制，旨在将用户的多模态指令无缝集成到生成模型中，从而促进用户输入和生成过程之间的合作和响应交互，使生成结果能够通过精确而有效的用户指令进行迭代和细粒度的改进。通过 InteractiveVideo，用户可以详细定制视频的关键方面，如绘制参考图像、编辑语义和调整视频动作，直到满足其需求。此外还提供代码、模型和演示的链接。
发现论文，激发创造
  • 通过多模态调节进行视频综合的展示和说明

    使用多模态生成框架，结合文本和图像训练双向变压器等多重输入来预测离散视频表示，同时提供改进的样本视频代币和文本增广，以及支持分割掩码、绘图和部分遮挡图像等不同视觉模态，可以通过文本提示生成对应视频，并在四个数据集上取得了最新的生成结果。

    Mar, 2022

  • UniVG: 走向统一模态视频生成

    提出了一种统一的多模态视频生成系统，能够处理基于文本和图像模态的多个视频生成任务，其中高自由度视频生成采用多条件交叉注意力对齐输入图像或文本的语义，低自由度视频生成引入偏置高斯噪声以更好地保留输入条件的内容，该方法在 MSR-VTT 公共学术基准中取得了最低的 Fréchet 视频距离（FVD），在人类评估中超过了当前的开源方法，并与当前的闭源方法 Gen2 持平。

    Jan, 2024

  • 使用文本和结构指导生成定制视频

    本文提出了一种使用文本作为上下文描述和动作结构（例如逐帧深度）作为具体指导的定制视频生成方法，涉及使用先前为静止图像合成预先训练的潜在扩散模型并引入时间模块进行视频生成的联合条件视频生成。实验结果表明，该方法在时间一致性和与用户指导的忠实度方面表现优异，特别是在现有基线模型方面具有更好的性能。

    Jun, 2023

  • InstructVid2Vid：自然语言控制视频编辑

    本文介绍了一种基于预训练模型和条件式 3D U-Net 结构的、可以通过自然语言指令编辑视频的方法，同时提出了一种新的视帧差异损失函数，可以在训练过程中提高生成视频的时序一致性，实验表明该方法生成的视频质量高、时序连贯，能够进行多种视频编辑操作。

    May, 2023

  • Music2Video：音频和文本融合的自动生成音乐视频

    利用多模态特征空间中的文本和音频嵌入指导生成模型的生成图像，进一步实现音乐视频创作，我们提出的方法需要对视频进行自动分段，同时保持时间上的一致性，与以前的方法不同，我们的方法融合了文本和音频两个模态，展示了良好的应用效果

    Jan, 2022

  • Instruct-Video2Avatar: 使用说明的视频头像生成

    本文提出一种使用图像条件扩散模型和神经辐射场方法，通过短单眼 RGB 视频和文本说明合成编辑后的、照片逼真的可动 3D 神经头像的方法。在各种主题的定量和定性研究中，我们的方法胜过了现有技术。

    Jun, 2023

  • MagicVideo-V2: 多阶段高美学视频生成

    MagicVideo-V2 通过将文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块整合到端到端视频生成流程中，可以生成具有出色保真度和平滑度的美观、高分辨率视频，在大规模用户评估中表现出比 Runway、Pika 1.0、Morph、Moon Valley 和 Stable Video Diffusion 模型更优秀的性能。

    Jan, 2024

  • 利用检索辅助视频生成技术的动画故事讲述

    提出了一种使用现有短视频合成视觉讲述视频的技术，该技术基于查询文本描述运动结构，在结构引导和外观指导下生成基于情节的视频，并通过概念个性化方法保证视频的视觉一致性。

    Jul, 2023

  • 通过问问题学习检索视频

    提出了一种具备多轮对话交互能力的视频检索框架，该框架包括 AI agent、多模态问答生成器及信息指导监督器，实验表明其效果显著优于传统非交互方式的视频检索系统。

    May, 2022

  • ControlVideo: 无需训练的可控文本到视频生成

    ControlVideo 是一种基于文本驱动扩散模型的、无需训练即可完成自然高效文本到视频生成，使用三个模块实现外观协调、帧插值以及分层采样，能够在轻松几分钟之内生成高质量的短视频和长视频。

    May, 2023