Oct, 2022

Phenaki: 从开放领域文本描述生成可变长度的视频

PDF
TL;DR该研究提出了一种名为 Phenaki 的模型，它可以根据一系列的文本提示生成逼真的视频。
video synthesistextual promptstokenizationtransformer modelgeneralization
发现论文，激发创造
  • 基于文本的视频生成

    通过训练条件生成模型从文本中提取静态和动态信息，结合 VAE 和 GAN 的混合框架，采用画线和过滤器来生成可信度高和多样性强的文本视频。

    Oct, 2017

  • Gen-L-Video：多文本到长视频生成与时域协同去噪

    本文提出了一种称为 Gen-L-Video 的新方法，该方法利用现有的短视频扩散模型扩展了当前的文本驱动视频生成和编辑能力，使其能够生成和编辑具有多个语义段的数百帧的长视频，而不需要额外的训练，从而极大地拓宽了视频扩散模型的生成和编辑能力。

    May, 2023

  • 半参数视频文本生成

    通过对数据存储库中的视频采用非参数帧检索器进行预处理，将其与查询一起进行聚合，从而有效地表示长时间未修剪的视频的可扩展视频 - 语言建模新视角。在四个视频 - 语言数据集上达到了新的技术水平。

    Jan, 2023

  • 使用文本和结构指导生成定制视频

    本文提出了一种使用文本作为上下文描述和动作结构（例如逐帧深度）作为具体指导的定制视频生成方法，涉及使用先前为静止图像合成预先训练的潜在扩散模型并引入时间模块进行视频生成的联合条件视频生成。实验结果表明，该方法在时间一致性和与用户指导的忠实度方面表现优异，特别是在现有基线模型方面具有更好的性能。

    Jun, 2023

  • 利用字幕的关注语义视频生成

    该研究提出了一种网络架构，利用标题执行可变长度的语义视频生成。网络能够区分视频中的对象，动作和交互，并将它们与长期和短期依赖结合起来，以增量方式生成视频。网络通过学习潜在表示对视频进行无监督生成，并在执行其他任务时表现出了良好的能力，如动作识别和空时样式转移。

    Aug, 2017

  • VideoFactory: 基于时空扩散的交换注意力机制用于文本到视频生成

    VideoFactory 是一种通过使用 swapped cross-attention mechanism 从而加强空间和时间相互感知的方法，并借助大规模的 HD-VG-130M 视频数据集，实现生成无水印、高清晰度、通用领域的视频。研究结果表明，该方法在单帧质量、时间相关性和文本视频对齐方面具有明显优势。

    May, 2023

  • 基于无时间感知 VQGAN 和时间敏感 Transformer 的长视频生成

    本文提出了一种利用 3D-VQGAN 和 transformers 生成长视频的方法，并通过 UCF-101、Sky Time-lapse 和 Taichi-HD 数据集的 16 帧视频剪辑进行了验证，同时还展示了结合文本和音频等条件扩展的方法。

    Apr, 2022

  • 一般适用规则不一定适合所有情况：生成和评估关键词的可变数量

    本研究从建模和评估的角度解决了许多现有神经关键词生成模型中缺乏多样性问题，并提出了两种评估指标和一种新数据集 StackEx，从而能够控制输出数量并在所有数据集上优于强基线。

    Oct, 2018

  • SEINE: 短到长视频扩散模型用于生成过渡和预测

    这篇论文介绍了一种名为 SEINE 的短到长视频扩散模型，着重于生成过渡和预测，旨在生成具有平滑和创造性场景过渡的高质量长视频。

    Oct, 2023

  • 面向多任务多模态模型的视频生成视角

    通过构建多任务模型、保留高保真度的视频本机时空分词器、以及可解释的词汇术语与视觉观察之间的映射，我们的研究证明了多模态潜在空间设计的可行性，并提出了一种优于行业标准编解码器的视频本机时空分词器，从而在视频合成方面实现了语言模型超越扩散模型的首次突破。进一步地，我们的可扩展视觉令牌表示法在生成、压缩和理解任务中都表现出明显的优势。这项研究的成果为未来在生成非文本数据、实现实时互动体验等方面提供了有趣的潜力。

    May, 2024