利用多模态特征空间中的文本和音频嵌入指导生成模型的生成图像，进一步实现音乐视频创作，我们提出的方法需要对视频进行自动分段，同时保持时间上的一致性，与以前的方法不同，我们的方法融合了文本和音频两个模态，展示了良好的应用效果

Jan, 2022

VideoFactory 是一种通过使用 swapped cross-attention mechanism 从而加强空间和时间相互感知的方法，并借助大规模的 HD-VG-130M 视频数据集，实现生成无水印、高清晰度、通用领域的视频。研究结果表明，该方法在单帧质量、时间相关性和文本视频对齐方面具有明显优势。

May, 2023

MovieLLM 提出了一种新颖的框架，利用 GPT-4 和文本到图像模型生成详细的脚本和对应的视觉，从而创造出长视频的合成高质量数据。该方法通过解决数据稀缺和偏见等问题，显著提高了多模态模型对复杂视频叙事的理解能力，克服了现有数据集的限制。

Mar, 2024

通过训练条件生成模型从文本中提取静态和动态信息，结合 VAE 和 GAN 的混合框架，采用画线和过滤器来生成可信度高和多样性强的文本视频。

Oct, 2017

本文提出了一种称为 Gen-L-Video 的新方法，该方法利用现有的短视频扩散模型扩展了当前的文本驱动视频生成和编辑能力，使其能够生成和编辑具有多个语义段的数百帧的长视频，而不需要额外的训练，从而极大地拓宽了视频扩散模型的生成和编辑能力。

May, 2023

我们提出了 MicroCinema，这是一个简单却有效的框架，用于高质量和连贯的文本到视频生成。通过将文本到视频分为两个阶段的过程，即文本到图像生成和图像和文本到视频生成，MicroCinema 具有两个显著优势：a) 利用最新的文本到图像模型，如 Stable Diffusion，Midjourney 和 DALLE，生成逼真和高度详细的图像；b) 借助生成的图像，模型可以将较少的注意力放在细粒度外观细节上，优先学习动态运动。通过引入 Appearance Injection Network 和 Appearance Noise Prior 这两个核心设计，MicroCinema 能够生成由提供的文本提示引导的高质量视频。广泛的实验表明了该方法的优越性。具体而言，MicroCinema 在 UCF-101 上实现了 342.86 的零样本 FVD 和在 MSR-VTT 上实现了 377.40 的零样本 FVD。点击此链接查看视频示例。

Nov, 2023

通过构建多任务模型、保留高保真度的视频本机时空分词器、以及可解释的词汇术语与视觉观察之间的映射，我们的研究证明了多模态潜在空间设计的可行性，并提出了一种优于行业标准编解码器的视频本机时空分词器，从而在视频合成方面实现了语言模型超越扩散模型的首次突破。进一步地，我们的可扩展视觉令牌表示法在生成、压缩和理解任务中都表现出明显的优势。这项研究的成果为未来在生成非文本数据、实现实时互动体验等方面提供了有趣的潜力。

May, 2024

介绍了基于视觉编码器与大型语言模型相结合的 Video-ChatGPT 模型，用于理解和生成关于视频的人类对话，并介绍了使用手动和半自动管道获得的新数据集，可用于训练和评估基于视频的对话模型，并在定量评估框架下分析了该模型的优劣。

Jun, 2023

我们提出了一种自动预告片生成框架，该框架通过自动化镜头选择和组合从完整电影中生成可信的预告片。我们的方法受到机器翻译技术的启发，将电影和预告片建模为镜头序列，从而将预告片生成问题形式化为序列到序列的任务。我们引入了 Trailer Generation Transformer（TGT），这是一个利用编码器 - 解码器架构的深度学习框架。TGT 电影编码器通过自注意力上下文化每个电影镜头表示，而自回归预告片解码器预测下一个预告片镜头的特征表示，考虑镜头在预告片中的时间顺序的相关性。我们的 TGT 在全面的度量套件上明显优于先前的方法。

Apr, 2024

MagicVideo-V2 通过将文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块整合到端到端视频生成流程中，可以生成具有出色保真度和平滑度的美观、高分辨率视频，在大规模用户评估中表现出比 Runway、Pika 1.0、Morph、Moon Valley 和 Stable Video Diffusion 模型更优秀的性能。

Jan, 2024