Dec, 2023

MTVG: 多文本视频生成与文本到视频模型

HTML
PDF
TL;DR最近，视频生成引起了广泛关注并取得了显着成果。针对视频的特点，多文本条件在下一步视频生成中需要结合顺序事件。本研究提出了一种新的多文本视频生成模型，通过直接利用预训练的基于扩散的文本到视频转换模型进行生成，而无需额外的微调。为了生成连续的视频片段，不同提示生成的视觉一致性是必要的，具有多样的变化，如运动和内容相关的过渡。我们的方法包括动态噪声和最后一帧感知反演，用于在不同提示的视频之间重新初始化噪声潜变量，以保持视觉一致性并防止重复运动或内容。此外，我们提出了结构导向采样，以在单个视频剪辑的帧之间保持全局外观，其中我们通过对前一帧进行迭代潜变量更新。此外，我们的提示生成器允许由各种事件组成的文本条件的任意格式。我们的广泛实验证明了我们的方法在语义上的一致性和时间上的连续性方面具有出色的生成输出。项目页面提供了视频示例：[此链接](https://this_URL)
发现论文，激发创造
  • 基于Transformer的大规模预训练文字到视频生成技术CogVideo

    该研究提出CogVideo，一个9B参数的transformer预训练模型，通过继承预训练的文本到图像模型CogView2进行训练，同时采用多帧率层次化训练策略以更好地对齐文本和视频片段。作为可能是第一个开源的大规模预训练文本到视频模型，CogVideo在机器和人类评估中的表现均远超公开的模型。

    May, 2022

  • Gen-L-Video：多文本到长视频生成与时域协同去噪

    本文提出了一种称为 Gen-L-Video 的新方法，该方法利用现有的短视频扩散模型扩展了当前的文本驱动视频生成和编辑能力，使其能够生成和编辑具有多个语义段的数百帧的长视频，而不需要额外的训练，从而极大地拓宽了视频扩散模型的生成和编辑能力。

    May, 2023

  • 使用文本和结构指导生成定制视频

    本文提出了一种使用文本作为上下文描述和动作结构（例如逐帧深度）作为具体指导的定制视频生成方法，涉及使用先前为静止图像合成预先训练的潜在扩散模型并引入时间模块进行视频生成的联合条件视频生成。实验结果表明，该方法在时间一致性和与用户指导的忠实度方面表现优异，特别是在现有基线模型方面具有更好的性能。

    Jun, 2023

  • VideoGen：一种参考引导的潜在扩散方法用于高清文本到视频生成

    使用参考引导的潜在扩散方法，VideoGen提供了一种生成高清晰度、高帧保真度和强时间一致性的视频的方法，通过将文本转换为视频生成。

    Sep, 2023

  • FreeNoise：无需调整的长视频扩散通过噪音重新调度

    利用大规模视频数据集和扩散模型的进展，本研究通过引入多个文本条件，拓展了文本驱动视频生成模型的生成能力，解决了现有模型在生成高保真长视频和针对多文本条件的支持方面的局限性。

    Oct, 2023

  • 优化噪声追求以增强文本到视频生成

    通过使用基于扩散模型建立的噪声-视频映射，由搜索-反转流程逼近文本输入的最佳噪声，同时通过一个语义保持改写器来丰富文本提示，实现文本到视频模型的有效优化。

    Nov, 2023

  • 文本无关视频生成的扩展方法

    通过使用无文本视频进行训练，研究表明，扩大训练集规模并重新引入部分文本标签，可以使基于扩散的文本到视频生成的性能得到提升和改进。

    Dec, 2023

  • VideoTetris：走向组合式文本到视频生成

    Diffusion models have limitations when handling complex video generation scenarios, so VideoTetris proposes a novel framework using spatio-temporal compositional diffusion for precise T2V generation by manipulating attention maps and enhancing training data, achieving impressive results.

    Jun, 2024

  • xGen-VideoSyn-1：高保真文本到视频合成与压缩表示

    本研究解决了文本到视频生成过程中高计算成本的问题，提出了一种基于潜在扩散模型的高效视频生成方法。通过引入视频变分自编码器(VidVAE)和分段合并策略，优化了视频数据的处理，并保持临时一致性。实验结果表明，xGen-VideoSyn-1在生成720p视频时具备竞争力的性能，推动了文本到视频合成技术的发展。

    Aug, 2024

  • 通过分解编码和条件增强文本到视频生成中的运动

    本研究解决了文本到视频（T2V）生成中视频运动表现不佳的问题，现有模型往往无法捕捉到复杂的动态表现。我们提出了一种新框架DEMO，通过将文本编码和条件分解为内容和运动组件，显著提高了运动合成效果。此方法能够显著改善模型对运动的理解与生成，在多个基准测试上展示了优越的运动动态表现和高视觉质量。

    Oct, 2024