Aug, 2024

xGen-VideoSyn-1：高保真文本到视频合成与压缩表示

HTML
PDF
TL;DR本研究解决了文本到视频生成过程中高计算成本的问题，提出了一种基于潜在扩散模型的高效视频生成方法。通过引入视频变分自编码器(VidVAE)和分段合并策略，优化了视频数据的处理，并保持临时一致性。实验结果表明，xGen-VideoSyn-1在生成720p视频时具备竞争力的性能，推动了文本到视频合成技术的发展。
发现论文，激发创造
  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将LDM范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将LDM应用于文本到视频模型中。

    Apr, 2023

  • VideoGen：一种参考引导的潜在扩散方法用于高清文本到视频生成

    使用参考引导的潜在扩散方法，VideoGen提供了一种生成高清晰度、高帧保真度和强时间一致性的视频的方法，通过将文本转换为视频生成。

    Sep, 2023

  • 循环去噪：用于文本到视频生成的迭代式去噪

    通过复用和扩散的框架VidRD，使用潜在扩散模型（LDM）和自编码器实现文本到视频生成，获得了良好的定量和定性结果。

    Sep, 2023

  • LAVIE：级联潜在扩散模型的高质量视频生成

    该研究论文提出了LaVie，一个整合的视频生成框架，通过利用预训练的文本到图像模型作为基础，以学习高质量的文本到视频生成模型。通过引入简单的时间自注意机制以及联合图像-视频微调的过程，LaVie能够生成视觉逼真且时间连贯的视频，并保留预训练T2I模型的创造性。经广泛实验证明，LaVie在性能上取得了最先进的表现，并可用于不同的长视频生成和个性化视频合成应用。

    Sep, 2023

  • 像素与潜在扩散模型在文字到视频生成中的融合

    本文提出了一个混合模型，名为 Show-1，结合了基于像素和基于潜变量的文本到视频扩散模型，以实现精确的文本-视频对齐和高质量视频生成。

    Sep, 2023

  • I2VGen-XL: 通过级联扩散模型实现高质量图像到视频的合成

    提出了I2VGen-XL的级联方法，通过将两个因素解耦并利用静态图像作为关键指导，能够同时提高模型的语义准确性、细节的连续性和视频的清晰度。

    Nov, 2023

  • 稳定的视频扩散：将潜在视频扩散模型扩展到大型数据集

    我们提出了稳定的视频扩散-一种用于高分辨率的文本到视频和图像到视频生成的潜在视频扩散模型。

    Nov, 2023

  • VSTAR：用于长时间动态视频合成的生成时域护理

    通过引入GTN概念，我们提出了一种名为VSTAR的方法，通过自动化生成视频摘要和时间注意力正则化技术，以改善T2V模型在生成长视频时的动态性，并实验证明了我们的方法在生成较长且具有视觉吸引力的视频方面的优越性。

    Mar, 2024

  • StreamingT2V：基于文本的一致、动态、可扩展长视频生成

    通过StreamingT2V方法，可以实现高质量的长视频生成，该方法采用文本到视频扩散模型并引入条件注意模块，具有一致性和高运动量。

    Mar, 2024

  • VideoTetris：走向组合式文本到视频生成

    Diffusion models have limitations when handling complex video generation scenarios, so VideoTetris proposes a novel framework using spatio-temporal compositional diffusion for precise T2V generation by manipulating attention maps and enhancing training data, achieving impressive results.

    Jun, 2024